文档章节

机器学习管理平台 MLFlow

naughty
 naughty
发布于 2018/07/21 05:11
字数 1311
阅读 1010
收藏 13

最近工作很忙,博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow

谈起Databrick,相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解,它由Spark的创始人开办的,主要为用户提供在云端使用Spark来进行机器学习的能力。那么这次Databrick开源的MLFlow究竟能提供什么样的功能呢?

首先我们来看一看当前机器学习所遇到的挑战:

  • 使用的软件工具繁多,一个机器学习的项目基本上数据收集和准备,模型训练,模型部署的不断迭代过程,这个过程中的每一步都有很多不同的工具和选择。单就模型训练来说,我们就有scikit-learn,pytorch,spark,tensorflow,R 等等诸多选择。它们各自具有不同的优缺点和适用场合,对于数据科学家而言,要管理和适用这么多的工具,确实非常困难。
  • 很难跟踪和重现数据处理,代码运行,参数调试的过程和结果。
  • 很难对模型进行产品化,部署模型很困难。
  • 当数据规模增长的时候,很难扩展和伸缩。

MLFlow的目标是希望能够解决这些问题,希望支持任何的机器学习库,可以在本机或者云端运行,并解决可伸缩性的问题

MLFlow采用了开源的策略,基于API和模块化的设计。他主要有以下三个功能模块:

  • Tracking 跟踪和记录
  • Project 项目管理
  • Models 模型管理

我们分别来看看这三块:

Tracking

MLFlow的追踪功能类似APM,记录应用运行过程中所产生的各种数据。主要记录参数(Parameters),指标(Metrics),模型的持久化对象(Artifact)等内容。这一部分实际上功能的实现很简单。大家可以参考它的代码 

例如,对于参数的记录代码:

def log_param(self, key, value):
    # TODO: prevent keys from containing funky values like ".."
    fn = os.path.join(self.run_dir, "parameters", key)
    dir_util.mkpath(os.path.dirname(fn))
    with open(fn, "w") as f:
        f.write("%s\n" % value)

我想说,要解决追踪的问题,业内已经有很多成熟的工具,各种APM产品,甚至Splunk,ELK都是不错的选择。

Project

项目管理主要是为了解决机器学习中诸多不同工具的问题。其实解决的方法也很简单,就是用一些元数据来描述项目,并把项目用一个合理的目录结构来管理,结构如下:

例如上图的例子,把一个conda的python项目用一个yaml文件来描述,记录了名字是什么,参数是什么,有哪些依赖运行命令是什么,然后就可以用mlflow的API或者命令行客户端来调用。

对于这个问题,我想说的是,为什么不适用容器呢?容器是一个很好的封装各种不用运行环境和运行工具的选择。比起上面的方案,我认为要强许多,何况,还要支持云端,容器才是最佳实践!

项目管理的代码在这里 ,功能也不多。

MLFlow可以直接运行在github上的项目,也就是用github作为项目管理的仓库。

这里的亮点是可以运行拥有多个步骤的工作流,每一个步骤都是一个项目,类似一个数据处理管道(data pipeline)。利用Tracking API,不同项目步骤之间可以传递数据和模型(Artifact)。这也许是为什么该项目叫MLFlow吧。

Models

MLFlow利用类似对项目管理的相同哲学管理模型,使用元数据来描述不同工具所产生的不同模型。

上图是一个模型的例子。模型支持不同的口味(Flavors),包含Python,Scikit-Learn,Tensorflow和Spark ML。用户也可以定制自己个性化的口味(感觉像是在做菜)。

模型这比部分还支持了部署的功能,也就是说可以把模型部署到不同的平台,这个功能还是很好的。主要支持本地部署,Microsoft AzureML,AWS Sagemaker和Apache Spark。

当然,MLFlow并不能很好的解决不同工具所产生的模型不兼容的问题,你并不能把一个tensorflow的模型部署到Saprk上。如果有人对这一部分感兴趣,可以去关注一下这个项目:Mleap

另外MLFlow使用Flask提供web服务,有UI功能。当前还在Alpha阶段。希望它的未来能有好的发展,给数据科学家们提供一个好用的平台。

参考

 

© 著作权归作者所有

共有 人打赏支持
naughty
粉丝 282
博文 63
码字总数 119365
作品 0
其它
架构师
私信 提问
加载中

评论(1)

我还在等你回家
作者转发一下
Apache Spark 技术团队开源机器学习平台 MLflow

近日,来自 Databricks 的 Matei Zaharia 宣布推出开源机器学习平台 MLflow 。Matei Zaharia 是 Apache Spark 和 Apache Mesos 的核心作者,也是 Databrick 的首席技术专家。Databrick 是由 ...

王练
2018/06/08
1K
0
Spark机器学习工具链-MLflow简介

Spark机器学习工具链-MLflow简介 本文翻译自 https://github.com/openthings/mlflow 本文地址 https://my.oschina.net/u/2306127/blog/1825638, by openthings, 2018.06.07. 参考: mlflow......

openthings
2018/06/07
0
0
Databricks 开源 MLflow 平台,解决机器学习开发四大难点

雷锋网 AI 研习社按:机器学习开发有着远超传统软件开发的复杂性和挑战性,现在,Databricks 开源 MLflow 平台有望解决其中的四大痛点。 据雷锋网(公众号:雷锋网) AI 研习社了解,尝试过机器...

刘鹏
2018/06/09
0
0
开放式机器学习平台 - MLflow

MLflow 是由 Apache Spark 技术团队开源的一个机器学习平台,主打开放性: 开放接口:可与任意 ML 库、算法、部署工具或编程语言一起使用。 开源:开发者可轻松地对其进行扩展,并跨组织共享...

匿名
2018/06/07
0
0
Spark机器学习工具链-MLflow使用教程

Spark机器学习工具链-MLflow使用教程 本文翻译自 https://www.mlflow.org/docs/latest/concepts.html 本文地址 https://my.oschina.net/u/2306127/blog/1825690,by openthings, 2018.06.07......

openthings
2018/06/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周一乱弹 —— 白掌柜说了卖货不卖身

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @爱漫爱 :这是一场修行分享羽肿的单曲《Moony》 手机党少年们想听歌,请使劲儿戳(这里) @clouddyy :开不开心? 开心呀, 我又不爱睡懒觉…...

小小编辑
今天
7
0
大数据教程(11.7)hadoop2.9.1平台上仓库工具hive1.2.2搭建

上一篇文章介绍了hive2.3.4的搭建,然而这个版本已经不能稳定的支持mapreduce程序。本篇博主将分享hive1.2.2工具搭建全过程。先说明:本节就直接在上一节的hadoop环境中搭建了! 一、下载apa...

em_aaron
今天
2
0
开始看《JSP&Servlet学习笔记》

1:WEB应用简介。其中1.2.1对Web容器的工作流程写得不错 2:编写Servlet。搞清楚了Java的Web目录结构,以及Web.xml的一些配置作用。特别是讲了@WebServlet标签 3:请求与响应。更细致的讲了从...

max佩恩
今天
4
0
mysql分区功能详细介绍,以及实例

一,什么是数据库分区 前段时间写过一篇关于mysql分表的的文章,下面来说一下什么是数据库分区,以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可...

吴伟祥
今天
3
0
SQL语句查询

1.1 排序 通过order by语句,可以将查询出的结果进行排序。放置在select语句的最后。 格式: SELECT * FROM 表名 ORDER BY 排序字段ASC|DESC; ASC 升序 (默认) DESC 降序 1.查询所有商品信息,...

stars永恒
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部