加载中
Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想...

2015/08/03 17:21
135
最近hadoop遇到的issuses

https://issues.apache.org/jira/browse/YARN-182 https://issues.apache.org/jira/browse/YARN-903 https://issues.apache.org/jira/browse/HBASE-10304 https://issues.apache.org/jira/br...

2015/08/07 14:53
31
spark内核揭秘-01-spark内核核心术语解析

spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析...

Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

2015/08/25 14:06
101
spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

sparksql与hive整合

hive配置 编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容: <property>   <name>hive.metastore.uris</name>   <value>thrift://master:9083</value>   <description>Thrift uri f...

2015/09/22 15:19
2.8K
hive on spark 编译

前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在s...

整合Kafka到Spark Streaming——代码示例和挑战

整合Kafka到Spark Streaming——代码示例和挑战

Apache Spark 1.5.0正式发布

Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。Spark 1.5.0...

2015/09/09 18:07
333
spark standalone模式 zeppelin安装

1. 前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:...

2015/09/09 14:00
860

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部