加载中
Tachyon 0.7.1伪分布式集群安装与测试

Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件...

spark-1.2.0 集群环境搭建

spark-1.2.0 集群环境搭建

2015/01/06 17:20
112
spark内核揭秘-02-spark集群概览

spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览...

2015/01/18 09:17
57
Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cach

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

本地开发spark代码上传spark集群服务并运行(基于spark官网文档)

本地开发spark代码上传spark集群服务并运行(基于spark官网文档)

2015/01/08 18:51
102
spark内核揭秘-03-spark核心组件

spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件 spark内核揭秘-03-spark核心组件...

spark内核揭秘-01-spark内核核心术语解析

spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析...

hadoop点击AM所在node节点的logs链接报错 "Sorry, got error 404"

问题描述 打开hadoop 集群地址,hostname:8088 选择任何一个已经FINISHED或者FAILED的任务,然后点击 appplicationID ,比如:application_1439618500064_1100 进去ApplicationMaster 信息页面 ...

spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02

spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02 spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02 spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02 spark内核揭秘-09-R...

Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想...

2015/08/03 17:21
135
spark内核揭秘-04-spark任务调度系统个人理解

spark内核揭秘-04-spark任务调度系统个人理解 spark内核揭秘-04-spark任务调度系统个人理解 spark内核揭秘-04-spark任务调度系统个人理解

非mapreduce生成Hfile,然后导入hbase当中

非mapreduce生成Hfile,然后导入hbase当中

tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试: http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spa...

spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01

spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01 spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01 spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01 spark内核揭秘-09-R...

spark 查看 job history 日志

SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增...

2015/06/11 17:09
378
spark standalone模式 zeppelin安装

1. 前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:...

2015/09/09 14:00
860
spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部