加载中
How-to: Use IPython Notebook with Apache Spark

注意: 此文的方法已经过时,最新的IPython已经拆分为多个工程,并且原版本已经不再升级。 最新的notebook功能移到了Jupyter项目中,而Jupyter项目成为Anaconda的子项目,使用conda进行包管理...

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines by Dave Wang, Eric Liang and Maddie Schults Posted in Company Blog August 30, 2016 原文地址: https://da...

开源OLAP+数据可视化工具–For Apache Kylin

使用Kylin+Caravel搭建的大数据抽取、集成和可视化平台。来自于:lxw的大数据田地 » 开源OLAP+数据可视化工具–For Apache Kylin

Image Data Support in Apache Spark

Image Data Support in Apache Spark March 5, 2018 by ML Blog Team This post is co-authored by the Microsoft Azure Machine Learning team, in collaboration with Databricks Machine ...

2018/04/27 14:49
162
Introducing Deep Learning Pipelines for Apache Spark

Introducing Deep Learning Pipelines for Apache Spark Deep Learning Pipelines is a new library published by Databricks to provide high-level APIs for scalable deep learning model...

2018/05/17 23:01
1.7K
Apache Spark 3.0 正式发布,重大功能概览

Apache Spark 3.0 增加了很多令人兴奋的新特性,包括动态分区修剪(Dynamic Partition Pruning)、自适应查询执行(Adaptive Query Execution)、加速器感知调度(Accelerator-aware Schedul...

hadoop2.7环境的编译安装

海外找回来的的资料,珍惜吧!BD TMD的搜不到,搜到的很多细节漏掉了,总是出错,而且版本很旧,都是1.X的。这里介绍的是目前最新的Hadoop版本2.7.1,但因为还在开发中,应该还不是很稳定,需...

Top Spark Ecosystem Projects(英)

Apache Spark has developed a rich ecosystem, including both official and third party tools. We have a look at 5 third party projects which complement Spark in 5 different ways. ...

2016/03/10 10:39
200
十八款Hadoop工具帮你驯服大数据

由于大数据相关的研究快速发展,有的工具或消失,有的会增强,而新的也会很快出现。这里列出了一些Hadoop相关的工具,仅供参考。

2016/01/05 12:11
380
Spark 学习资源收集

关于Spark的安装、部署、使用的教程、经验和书籍等等的学习资源集合,来自于http://my.oschina.net/leejun2005/blog/311486

2016/05/29 19:05
494
Installing Jenkins on Ubuntu

On Debian-based distributions, such as Ubuntu, you can install Jenkins through apt-get. Recent versions are available in an apt repository. Older but stable LTS versions are in ...

iObjects for Spark- Docker安装攻略

iObjects for Spark时空大数据分析引擎可以帮助使用者进行高效的时空大数据分析,它既可以作为Apache Spark项目在时空数据领域的扩展模块,为软件开发人员服务,也可以作为一个开箱即用的时空...

Spark 3.0 内置支持 GPU 调度

如今大数据和机器学习已经有了很大的结合,在机器学习里面,因为计算迭代的时间可能会很长,开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内...

Spark的GPU支持方法研究

本文持续更新中,转载请注明来源:https://my.oschina.net/u/2306127/blog/1602291 为了使用Spark进行机器学习,支持GPU是必须的,上层再运行神经网络引擎。目前AWS\GCP和Databricks的云都已...

开源大数据处理工具汇总(下)

开源大数据处理工具汇总(下),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。

iObjects for Spark-时空大数据分析引擎

Apache Spark是功能强大的分布式并行计算平台。iObject for Spark是全球首个面向Spark的时空大数据分析引擎,通过将专业GIS组件引入Spark环境中运行,极大扩充了Spark的能力,使其具备了专业...

开源大数据处理工具汇总(上)

开源大数据处理工具汇总(上),一共81个。

GraphFrames, Spark上的图计算库(英)

An overview of Spark's new GraphFrames, a graph processing library based on DataFrames, built in a collaboration between Databricks, UC Berkeley's AMPLab, and MIT....

在Kubernetes集群中部署ownCloud云盘系统

ownCloud ownCloud is a file sharing server that puts the control and security of your own data back into your hands. 参考 建立自己的共享云盘 - 使用ownCloud 远程访问家里机器的文件...

2018/10/18 08:47
1.9K
NiFi-面向流程的大数据处理框架

任何一个大数据分析的软件,都需要一个强大的数据拉取组件、数据仓储系统、数据处理引擎、任务调度引擎和流程设计界面。Hadoop和Spark的重点是在数据的存储和任务调度,R的重点是数据分析引擎...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部