MLflow机器学习工作流框架更新(2019.3)

原创
2019/03/03 10:30
阅读数 2.2K

MLflow机器学习工作流框架最新进展(2019.3)

MLflow(,https://mlflow.org)是Databricks(Spark的主要开发者)为机器学习开发的流程化框架,用于简化机器学习的训练流程,减少训练实验的工作量。可以通过将训练数据集代入已有的模型,并运行多重实验性测试,然后对输出的结果优选,从而得出最佳的模型参数,并保存为一个可以重用的模型文件。

快速使用

安装:

pip install mlflow

运行模型:

git clone https://github.com/mlflow/mlflow

python examples/quickstart/mlflow_tracking.py

查看结果:

mlflow ui

显示Web页面,如下:

最近更新

从去年设立该项目开始,MLflow进展迅速,目前是0.8.2版本,已经开始Beta。

MLflow 0.8.2为Bug修复版本,MLflow 0.8.1 主要改进如下:

  • 增强 UI 响应和载入时间,尤其是当成百上千次运行的实验结果显示。
  • 增强可视化,包括交互 scatter plots用于比较 MLflow运行结果。
  • 扩展支持python评分模块作为 Spark UDFs。更多信息参考 updated documentation for this feature
  • 缺省情况下,保存 models 将包括Conda environment,包含所有的指定依赖,用于在新的环境载入该模型。

特征:

  • [API/CLI] 支持从ZIP文件运行 MLflow projects  (#759, @jmorefieldexpe)。
  • [Python API] 支持传递 model 的conda environments,作为词典结构在 save_modellog_model 函数中使用 (#748, @dbczumar)。
  • [Models] 缺省的 Anaconda environments已经被添加到多个 Python model flavors。缺省情况下,通过 save_modellog_model 函数产生的模型将包含运行环境参数,其指定了所有的版本化环境信息,对于在如何提供模型服务是必须的。之前,用户必须手工指定。 (#705, #707, #708, #749, @dbczumar)。
  • [Scoring] 支持同步部署模型到 SageMaker (#717, @dbczumar)。
  • [Tracking] 包含 Git repository URL 作为tag,当跟踪 MLflow 运行在 Git repository (#741, @whiletruelearn, @mateiz)。
  • [UI] 改善的 UI 性能,通过使用 react-virtualized 表来优化行的渲染 (#765, #762, #745, @smurching)。
  • [UI] 运行 metrics, tags, 和 parameter 信息时的显著性能提升 (#764, #747, @smurching)。
  • [UI] Scatter plots, 包括运行比较图,现在是交互性的 (#737, @mateiz)。
  • [UI] 扩展的 CSRF 支持,允许 MLflow UI server 指定一系列期望的 headers,客户端可以在AJAX请求时进行设置 (#733, @aarondav)。

Bug 修复与文档更新:

  • [Python/Scoring] MLflow Python 模块生成 Pandas DataFrames 可以 evaluated 为 Spark UDFs,现在正确。Spark UDF 输出包含多类型列也支持了 (#719, @tomasatdatabricks)。
  • [Scoring] 修复了阻止模型为 Azure ML 服务的系列错误,当返回Pandas DataFrames时 (#754, @dbczumar)。
  • [Docs] 新的例子演示 MLflow REST API 可以被用于创建实验和日志的运行信息 (#750, kjahan)。
  • [Docs] R 文档已更新,以反映分类和风格的一致性 (#683, @stbof)。
  • [Docs] 添加用户设置要求的分类,在Databricks上运行 remote MLflow 时 (#736, @andyk)。
  • 其它bug修复和文档更新参见 (#768, #715, @smurching; #728, dodysw; #730, mshr-h; #725, @kryptec; #769, #721, @dbczumar; #714, @stbof)。

更多参考:

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部