文档章节

机器学习管理平台 MLFlow

naughty
 naughty
发布于 07/21 05:11
字数 1311
阅读 551
收藏 12

最近工作很忙,博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow

谈起Databrick,相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解,它由Spark的创始人开办的,主要为用户提供在云端使用Spark来进行机器学习的能力。那么这次Databrick开源的MLFlow究竟能提供什么样的功能呢?

首先我们来看一看当前机器学习所遇到的挑战:

  • 使用的软件工具繁多,一个机器学习的项目基本上数据收集和准备,模型训练,模型部署的不断迭代过程,这个过程中的每一步都有很多不同的工具和选择。单就模型训练来说,我们就有scikit-learn,pytorch,spark,tensorflow,R 等等诸多选择。它们各自具有不同的优缺点和适用场合,对于数据科学家而言,要管理和适用这么多的工具,确实非常困难。
  • 很难跟踪和重现数据处理,代码运行,参数调试的过程和结果。
  • 很难对模型进行产品化,部署模型很困难。
  • 当数据规模增长的时候,很难扩展和伸缩。

MLFlow的目标是希望能够解决这些问题,希望支持任何的机器学习库,可以在本机或者云端运行,并解决可伸缩性的问题

MLFlow采用了开源的策略,基于API和模块化的设计。他主要有以下三个功能模块:

  • Tracking 跟踪和记录
  • Project 项目管理
  • Models 模型管理

我们分别来看看这三块:

Tracking

MLFlow的追踪功能类似APM,记录应用运行过程中所产生的各种数据。主要记录参数(Parameters),指标(Metrics),模型的持久化对象(Artifact)等内容。这一部分实际上功能的实现很简单。大家可以参考它的代码 

例如,对于参数的记录代码:

def log_param(self, key, value):
    # TODO: prevent keys from containing funky values like ".."
    fn = os.path.join(self.run_dir, "parameters", key)
    dir_util.mkpath(os.path.dirname(fn))
    with open(fn, "w") as f:
        f.write("%s\n" % value)

我想说,要解决追踪的问题,业内已经有很多成熟的工具,各种APM产品,甚至Splunk,ELK都是不错的选择。

Project

项目管理主要是为了解决机器学习中诸多不同工具的问题。其实解决的方法也很简单,就是用一些元数据来描述项目,并把项目用一个合理的目录结构来管理,结构如下:

例如上图的例子,把一个conda的python项目用一个yaml文件来描述,记录了名字是什么,参数是什么,有哪些依赖运行命令是什么,然后就可以用mlflow的API或者命令行客户端来调用。

对于这个问题,我想说的是,为什么不适用容器呢?容器是一个很好的封装各种不用运行环境和运行工具的选择。比起上面的方案,我认为要强许多,何况,还要支持云端,容器才是最佳实践!

项目管理的代码在这里 ,功能也不多。

MLFlow可以直接运行在github上的项目,也就是用github作为项目管理的仓库。

这里的亮点是可以运行拥有多个步骤的工作流,每一个步骤都是一个项目,类似一个数据处理管道(data pipeline)。利用Tracking API,不同项目步骤之间可以传递数据和模型(Artifact)。这也许是为什么该项目叫MLFlow吧。

Models

MLFlow利用类似对项目管理的相同哲学管理模型,使用元数据来描述不同工具所产生的不同模型。

上图是一个模型的例子。模型支持不同的口味(Flavors),包含Python,Scikit-Learn,Tensorflow和Spark ML。用户也可以定制自己个性化的口味(感觉像是在做菜)。

模型这比部分还支持了部署的功能,也就是说可以把模型部署到不同的平台,这个功能还是很好的。主要支持本地部署,Microsoft AzureML,AWS Sagemaker和Apache Spark。

当然,MLFlow并不能很好的解决不同工具所产生的模型不兼容的问题,你并不能把一个tensorflow的模型部署到Saprk上。如果有人对这一部分感兴趣,可以去关注一下这个项目:Mleap

另外MLFlow使用Flask提供web服务,有UI功能。当前还在Alpha阶段。希望它的未来能有好的发展,给数据科学家们提供一个好用的平台。

参考

 

© 著作权归作者所有

共有 人打赏支持
naughty
粉丝 237
博文 56
码字总数 94984
作品 0
其它
架构师
Databricks 开源 MLflow 平台,解决机器学习开发四大难点

雷锋网 AI 研习社按:机器学习开发有着远超传统软件开发的复杂性和挑战性,现在,Databricks 开源 MLflow 平台有望解决其中的四大痛点。 据雷锋网(公众号:雷锋网) AI 研习社了解,尝试过机器...

刘鹏
06/09
0
0
Apache Spark 技术团队开源机器学习平台 MLflow

近日,来自 Databricks 的 Matei Zaharia 宣布推出开源机器学习平台 MLflow 。Matei Zaharia 是 Apache Spark 和 Apache Mesos 的核心作者,也是 Databrick 的首席技术专家。Databrick 是由 ...

王练
06/08
0
0
Spark机器学习工具链-MLflow简介

Spark机器学习工具链-MLflow简介 本文翻译自 https://github.com/openthings/mlflow 本文地址 https://my.oschina.net/u/2306127/blog/1825638, by openthings, 2018.06.07. 参考: mlflow......

openthings
06/07
0
0
开放式机器学习平台 - MLflow

MLflow 是由 Apache Spark 技术团队开源的一个机器学习平台,主打开放性: 开放接口:可与任意 ML 库、算法、部署工具或编程语言一起使用。 开源:开发者可轻松地对其进行扩展,并跨组织共享...

匿名
06/07
0
0
Spark机器学习工具链-MLflow使用教程

Spark机器学习工具链-MLflow使用教程 本文翻译自 https://www.mlflow.org/docs/latest/concepts.html 本文地址 https://my.oschina.net/u/2306127/blog/1825690,by openthings, 2018.06.07......

openthings
06/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

nginx模块学习六 add_header 跨域访问

语法 Syntax: add_header name value [always];Default: --Context:http,server,location,if in location 例:/etc/nginx/conf.d/default.conf server {    listen       80; ......

Romanceling
今天
0
0
SpringBoot初探

#SpringBoot初探 三种创建SpringBoot项目的方式: 第一种:使用IDEA创建maven项目,选择maven-archetype-quickstart; 第二种:使用IDEA创建Spring Initializer,选择web组件; 第三种:使用...

向码而生
今天
2
0
IO

JAVA中IO技术:BIO、NIO、AIO 1、同步异步、阻塞非阻塞概念 同步和异步是针对应用程序和内核的交互而言的。 阻塞和非阻塞是针对于进程在访问数据的时候,根据IO操作的就绪状态来采取的不同方...

DemonsI
今天
0
0
org.apache.commons 常用工具类

一. org.apache.commons.io.IOUtils closeQuietly 关闭一个IO流、socket、或者selector且不抛出异常。通常放在finally块。 toString 转换IO流、 Uri、 byte[]为String。 copy IO流数据复制,...

sprouting
今天
0
0
linux使用Inotify监控目录或者文件状态变更

基本概念: Inotify 是一个 Linux特性,它监控文件系统操作,比如读取、写入和创建。Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多。 需求: 1.有一个文件采集进程,...

mickelfeng
今天
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部