加载中
Airflow在Kubernetes上的操作器

Airflow在Kubernetes (第一部分): 一种不同类型的Operator 作者: Daniel Imberman (Bloomberg LP) 译者:openthings,2019.02.26. 原文:https://kubernetes.io/blog/2018/06/28/airflow-on-...

2018/07/07 15:49
573
AirFlow-Install

AirFlow-Installation https://airflow.incubator.apache.org/installation.html Getting Airflow The easiest way to install the latest stable version of Airflow is with pip: pip inst...

AirFlow-Tutorial

AirFlow-Tutorial https://airflow.incubator.apache.org/tutorial.html This tutorial walks you through some of the fundamental Airflow concepts, objects, and their usage while writ...

AirFlow/NiFi/MLFlow/KubeFlow进展

大数据分析中,进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统,难以实现大规模扩展;主流的基于Hadoop/Spark体系总体性能较强,但使用复杂、扩展能力弱。大数...

Databook-数据之书

Databook-数据之书 用于数据分析的Jupyter Notebooks。 不需购买服务器,快速开始自己的数据分析过程。 源码:https://github.com/databooks/databook 源码镜像:https://gitlab.com/databo...

PyTorch快速开始-Notebook with JupyterHub on K8s

在Kubernetes上的JupyterHub,通过Notebook快速运行PyTorch例程,测试镜像是否可用。 1、快速安装 在我的镜像中,已经将PyTorch、TorchVision打包到JupyterHub for K8s的Notebook镜像中,可以...

为JupyterHub自定义Notebook Images

JupyterHub已经成为数据探索的最佳工具,而且可以在Kubernetes中运行,提供托管的、可伸缩的数据分析环境。JupyterHub可以为每个用户创建独立的运行环境,在单机环境下运行在不同的Anaconda环...

Kubernetes-2018干货盘点

毫无疑问,Kubernetes在2018年是个丰收年,不仅本身取得了重大的进步,也让使用它的人获益匪浅。 2018年,我跟随着Kubernetes社区,将其升级到了1.13.2版本,推动将GIS服务器第一次迁移到Kub...

深度学习框架的发展与展望(2019.3)

机器学习算法发展比较迅速,但为了能够实现工程化的规模化应用,还需要稳定的框架和一致的流程的支持。 目前的机器学习算法主要分为两类,即深度学习与传统的机器学习。传统的机器学习如随机...

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines by Dave Wang, Eric Liang and Maddie Schults Posted in Company Blog August 30, 2016 原文地址: https://da...

hadoop2.7环境的编译安装

海外找回来的的资料,珍惜吧!BD TMD的搜不到,搜到的很多细节漏掉了,总是出错,而且版本很旧,都是1.X的。这里介绍的是目前最新的Hadoop版本2.7.1,但因为还在开发中,应该还不是很稳定,需...

Top Spark Ecosystem Projects(英)

Apache Spark has developed a rich ecosystem, including both official and third party tools. We have a look at 5 third party projects which complement Spark in 5 different ways. ...

2016/03/10 10:39
25
十八款Hadoop工具帮你驯服大数据

由于大数据相关的研究快速发展,有的工具或消失,有的会增强,而新的也会很快出现。这里列出了一些Hadoop相关的工具,仅供参考。

2016/01/05 12:11
323
Spark 学习资源收集

关于Spark的安装、部署、使用的教程、经验和书籍等等的学习资源集合,来自于http://my.oschina.net/leejun2005/blog/311486

2016/05/29 19:05
201
Spark的GPU支持方法研究

本文持续更新中,转载请注明来源:https://my.oschina.net/u/2306127/blog/1602291 为了使用Spark进行机器学习,支持GPU是必须的,上层再运行神经网络引擎。目前AWS\GCP和Databricks的云都已...

iObjects for Spark-时空大数据分析引擎

Apache Spark是功能强大的分布式并行计算平台。iObject for Spark是全球首个面向Spark的时空大数据分析引擎,通过将专业GIS组件引入Spark环境中运行,极大扩充了Spark的能力,使其具备了专业...

开源大数据处理工具汇总(上)

开源大数据处理工具汇总(上),一共81个。

Image Data Support in Apache Spark

Image Data Support in Apache Spark March 5, 2018 by ML Blog Team This post is co-authored by the Microsoft Azure Machine Learning team, in collaboration with Databricks Machine ...

GraphFrames, Spark上的图计算库(英)

An overview of Spark's new GraphFrames, a graph processing library based on DataFrames, built in a collaboration between Databricks, UC Berkeley's AMPLab, and MIT....

在Kubernetes集群中部署ownCloud云盘系统

ownCloud ownCloud is a file sharing server that puts the control and security of your own data back into your hands. 参考 建立自己的共享云盘 - 使用ownCloud 远程访问家里机器的文件...

2018/10/18 08:47
71

没有更多内容

加载失败,请刷新页面

返回顶部
顶部