加载中
Spark的GPU支持方法研究

本文持续更新中,转载请注明来源:https://my.oschina.net/u/2306127/blog/1602291 为了使用Spark进行机器学习,支持GPU是必须的,上层再运行神经网络引擎。目前AWS\GCP和Databricks的云都已...

Spark运行环境的安装

Spark功能还是蛮强的,安装的东西可是不少,好在搞完一次就可以一直用(除非用不上)。这里介绍安装需要的软件和步骤。不同机器可能还有些设置不一样的,需要自己去摸索,毕竟这个是开源软件...

2015/06/25 13:47
881
Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。 此版本包括 Spark 核心操作和性能改进; 添加新的网络传输子系统,进行了较大的改进; Spark SQL 引入了一个外部数据源的...

2015/01/20 20:43
42
关于Spark的基本概念和特性简介

Spark是近年来发展较快的分布式并行数据处理框架,可以与Hadoop联合使用,增强Hadoop的性能。同时,Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。这里简单介绍了...

Spark上的深度学习流水线

Spark上的深度学习流水线 本文根据 https://github.com/databricks/spark-deep-learning 翻译。 本文地址 https://my.oschina.net/u/2306127/blog/1811876,By openthings,2018-05-18. 深度...

A Vision for Making Deep Learning Simple

A Vision for Making Deep Learning Simple When MapReduce was introduced 15 years ago, it showed the world a glimpse into the future. For the first time, engineers at Silicon Vall...

2018/05/17 22:57
21
Image Data Support in Apache Spark

Image Data Support in Apache Spark March 5, 2018 by ML Blog Team This post is co-authored by the Microsoft Azure Machine Learning team, in collaboration with Databricks Machine ...

Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、SparkR计算引擎等...

MLflow机器学习工作流框架更新(2019.3)

MLflow机器学习工作流框架最新进展(2019.3) MLflow(,https://mlflow.org)是Databricks(Spark的主要开发者)为机器学习开发的流程化框架,用于简化机器学习的训练流程,减少训练实验的工作...

03/03 10:30
183
AirFlow/NiFi/MLFlow/KubeFlow进展

大数据分析中,进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统,难以实现大规模扩展;主流的基于Hadoop/Spark体系总体性能较强,但使用复杂、扩展能力弱。大数...

Ubuntu快速玩转机器学习

要搭建一个完整的机器学习平台,需要使用很多种软件。这里介绍了基于Ubuntu+Nvidia+Docker+Tensorflow+Kubernetes+Spark的技术栈,这是一条非常强大的技术路线,这里分享了具体的部署攻略,包...

为JupyterHub自定义Notebook Images

JupyterHub已经成为数据探索的最佳工具,而且可以在Kubernetes中运行,提供托管的、可伸缩的数据分析环境。JupyterHub可以为每个用户创建独立的运行环境,在单机环境下运行在不同的Anaconda环...

快速运行TensorFlow的6种方式

这里将介绍几种可以在隔离环境中运行TensorFlow的方式,包括:Anaconda、Docker、Jupyter、Kubernetes POD、Kubeflow、Spark DL on MLlib,将更容易管理和扩展到集群中运行。...

基于Kubernetes的机器学习系统

基于Kubernetes的机器学习系统 基于Kubernetes搭建机器学习系统,将可以利用大型集群管理和微服务架构实现大规模、生产级的训练、研究和应用机器学习系统,Nvidia的 HGX超级机器学习平台 也基...

2018/06/02 06:33
689
python实现OSM文件转为JSON格式

OSM是OpenStreetMap的开源数据格式,采用xml存储。这里将其转为json后可以加载到Spark/Hadoop等系统中进一步处理,也可以直接转入GIS软件中使用。 提取OpenStreetMap的osm文件(xml格式),转为...

Kubernetes-2018干货盘点

毫无疑问,Kubernetes在2018年是个丰收年,不仅本身取得了重大的进步,也让使用它的人获益匪浅。 2018年,我跟随着Kubernetes社区,将其升级到了1.13.2版本,推动将GIS服务器第一次迁移到Kub...

Spark机器学习工具链-MLflow使用教程

Spark机器学习工具链-MLflow使用教程 本文翻译自 https://www.mlflow.org/docs/latest/concepts.html 本文地址 https://my.oschina.net/u/2306127/blog/1825690,by openthings, 2018.06.07...

2018/06/07 09:42
2.2K
Kubeflow镜像的快速下载(V0.3.3)

Kubeflow是一个面向Kubernetes集群运行的机器学习框架。要想使用得先想办法把镜像搬到自己的环境里来。 目前版本0.3.3的容器镜像已经搬回来,可以使用下面的脚本来从Aliyun的镜像服务站下载:...

深度学习框架的发展与展望(2019.3)

机器学习算法发展比较迅速,但为了能够实现工程化的规模化应用,还需要稳定的框架和一致的流程的支持。 目前的机器学习算法主要分为两类,即深度学习与传统的机器学习。传统的机器学习如随机...

Kubernetes安装GPU支持插件

Kubernetes1.10.x可以直接支持GPU的容器调度运行了,通过安装该插件即可。

没有更多内容

加载失败,请刷新页面

返回顶部
顶部