.. Spark & Hadoop - openthings的个人空间 - OSCHINA

Apache Spark 3.0 增加了很多令人兴奋的新特性，包括动态分区修剪（Dynamic Partition Pruning）、自适应查询执行（Adaptive Query Execution）、加速器感知调度（Accelerator-aware Schedul...

spark sparkr 资源管理器 postgresql apachespark accelerator kubernetes spip yarn 大数据

.. Spark & Hadoop

2020/09/21 15:02

401

0

Apache Spark 2.3 运行于Kubernetes 原文来源：https://spark.apache.org/docs/latest/running-on-kubernetes.html Spark can run on clusters managed by Kubernetes. This feature makes u...

spark kubernetes executor image https blog docs node data server requests .net resources none driver

.. Spark & Hadoop

2018/03/09 06:59

1.8K

0

Apache Spark 2.3 原生支持 Kubernetes This is a community blog from Anirudh Ramanathan and Palak Bhatia, software engineer and product manager respectively at Google, working in...

kubernetes logging blog sparkr redhat gcs hdfs istio apachespark cloudera apachespark2 kubectl

.. Spark & Hadoop

2018/03/08 23:02

498

0

Running Spark on Kubernetes 注意，Spark 2.3已经正式发布，原生支持Kubernetes，这里的Spark 2.2已经过时。参考 https://my.oschina.net/u/2306127/blog/1631978 Support for running on...

kubernetes spark executor server docker https yaml resourcestagingserver none init kube spec

.. Spark & Hadoop

2018/03/08 21:57

409

0

在Kubernetes中运行Spark集群注意，Spark 2.3已经正式发布，原生支持Kubernetes，这里的内容已经过时。参考 https://my.oschina.net/u/2306127/blog/1631978 概述 Spark是新一代分布式内存...

spark kubernetes worker nginx yaml controller zeppelin client https docker executor index tree node

.. Spark & Hadoop

2018/01/04 18:11

1.2K

0

Spark支持local、Standalone和Cluster三种并行运行模式【参考：Spark的三种运行模式快速入门】。 local，单机运行模式。 Standalone，Spark自己构建的独立集群。 Cluster，运行在Mesos/YARN/...

spark docker mesos kubernetes 虚拟机 yarn swarm marathon swarmkit rancher hadoop slave standalone

.. Spark & Hadoop

2016/11/08 15:09

1.2K

0

spark-1.6.1 机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。旨在简化机器学习的工程实践工作，并方便扩展到更大规模。MLlib由一些通用的学习算法和工具组成，包括分类、回归、聚...

spark 机器学习机器学习库 k 聚类 java breeze 决策树 mllib tree growth 梯度下降

.. Spark & Hadoop

2016/09/06 17:21

1.2K

0

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines by Dave Wang, Eric Liang and Maddie Schults Posted in Company Blog August 30, 2016 原文地址： https://da...

notebook dbutils utm timeout scala python https pipelines blog html notebooks clean apache-spark

.. Spark & Hadoop

2016/09/04 19:11

738

0

Spark GraphX的Pregel API的例程。

graphlab apachegiraph neo4j forinstance extendsrdd thus value typicallyalongoutgoingedges inourcase

.. Spark & Hadoop

2016/09/02 14:23

1.4K

1

GraphX编程指南 (根据原文编辑：http://udn.yyuap.com/doc/spark-programming-guide-zh-cn/graphx-programming-guide/index.html) GraphX是一个新的（alpha）Spark API，它用于图和并行图(gr...

parallel graphx graph data guide programming index alpha html spark 大数据 giraph graphlab

.. Spark & Hadoop

2016/08/29 15:31

342

0

Spark GraphX 快速入门（基于原文：http://blog.csdn.net/mach_learn/article/details/46501351 编辑）概述 GraphX是Spark的一个新组件用于图和并行图计算。 GraphX通过引进一个新的图抽象...

graph graphx spark reduce cache data hashmap map-reduce apache v vertexrdd triplet attr

.. Spark & Hadoop

2016/08/29 15:20

1K

0

Spark Streaming是一个分布式架构的流式数据处理框架。得益于庞大的Hadoop/Spark生态体系，利用RDD的内存迭代计算引入Streaming处理能力，是Spark的一个重要的模块。本Spark Streaming 编程指...

spark func worker kafka k 文件系统 flume dstream transform v java context memory dataset apache

.. Spark & Hadoop

2016/07/13 10:58

7.5K

0

Spark Streaming是一个分布式架构的流式数据处理框架。得益于庞大的Hadoop/Spark生态体系，利用RDD的内存迭代计算引入Streaming处理能力，是Spark的一个重要的模块。本Spark Streaming 编程指...

spark func k kafka flume worker v 文件系统 memory word dstream transform java hdfs apache

.. Spark & Hadoop

2016/07/11 10:04

756

0

SparkSQL和DataFrame是Spark的高阶统一编程接口，在Spark2.0中进一步得到了增强。本文是关于Spark SQL和DataFrame的使用指南[中文翻译]，包含使用概念、方法、接口、示例等内容。...

spark sqlcontext data hive parquet jdbc schema json values apache import type scala java thrift

.. Spark & Hadoop

2016/07/11 08:00

5.4K

0

Spark在大数据处理领域正获得快速增长，其核心的RDD极大地提升了处理性能并且支持迭代运算。目前Spark DataFrame和Spark SQL更加成熟，而作为普通文件存储方案的Tachyon升级成为Alluxio，在成...

alluxio spark home datasets shell cache memory java client-worker sample core-

.. Spark & Hadoop

2016/06/16 16:13

2.4K

0

在Docker中运行Jupyter/Spark/Mesos服务，支持Jupyter Notebook Python, Scala, R, Spark, Mesos Stack。

notebook spark python2 https docker mesos sudo conda scala docker-stacks apachetoree python home

.. Spark & Hadoop

2016/06/12 14:34

3.7K

0

关于Spark的安装、部署、使用的教程、经验和书籍等等的学习资源集合，来自于http://my.oschina.net/leejun2005/blog/311486

spark blog scala github programming .net kafka apache-spark apachespark yarn http book tree

.. Spark & Hadoop

2016/05/29 19:05

521

0

关于Spark SQL和DataFrame的使用指南[中英对照]。

spark data hive sqlcontext parquet jdbc schema json apache import values type scala java thrift

.. Spark & Hadoop

2016/05/29 19:02

440

0

Spark编程指南《Spark 官方文档》，中文翻译，后面包含一些深度使用的方法。

spark reduce func v k scala memory java 文件系统 values python hadoop hdfs collect shell persist

.. Spark & Hadoop

2016/05/29 18:54

800

0

本文中，我们将首先讨论如何在本地机器上利用Spark进行简单分析。然后，将在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节将开始通过命令行与S...

spark python worker blog hadoop scala .net 大数据 java context home reduce hdfs 机器学习

.. Spark & Hadoop

2016/05/29 18:48

329

0

openthings

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

openthings

开源项目作者

Gitee 达人

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈