加载中
spark-1.2.0 集群环境搭建

spark-1.2.0 集群环境搭建

2015/01/06 17:20
93
在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

spark 查看 job history 日志

SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增...

2015/06/11 17:09
126
spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和co

Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect

整合Kafka到Spark Streaming——代码示例和挑战

整合Kafka到Spark Streaming——代码示例和挑战

本地开发spark代码上传spark集群服务并运行(基于spark官网文档)

本地开发spark代码上传spark集群服务并运行(基于spark官网文档)

2015/01/08 18:51
76
基于spark1.3.1的spark-sql实战-01

sqlContext总的一个过程如下图所示: SQL语句经过SqlParse解析成UnresolvedLogicalPlan; 使用analyzer结合数据数据字典(catalog)进行绑定,生成resolvedLogicalPlan; 使用optimizer对res...

spark内核揭秘-02-spark集群概览

spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览 spark内核揭秘-02-spark集群概览...

2015/01/18 09:17
57
spark implementation hadoop setup,cleanup

def main(args: Array[String]) { val sc = new SparkContext("local", "xxx") val inputData = sc.textFile("hdfs://master:8020/data/spark/user-history-data") val lines = inputData.ma...

2015/08/11 16:41
23
spark内核揭秘-01-spark内核核心术语解析

spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析 spark内核揭秘-01-spark内核核心术语解析...

Spark的日志配置

在测试spark计算时,将作业提交到yarn(模式–master yarn-cluster)上,想查看print到控制台这是imposible的,因为作业是提交到yarn的集群上,so 去yarn集群上看日志是很麻烦的,但有特别想...

2015/08/03 17:21
64
Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

spark架构设计&编程模型 02

spark架构设计&编程模型 02 spark架构设计&编程模型 02 spark架构设计&编程模型 02 spark架构设计&编程模型 02

Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

基于spark1.3.1的spark-sql实战-02

Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse i...

hadoop&spark mapreduce对比 & 框架设计和理解

hadoop&spark mapreduce对比 & 框架设计和理解 hadoop&spark mapreduce对比 & 框架设计和理解 hadoop&spark mapreduce对比 & 框架设计和理解 hadoop&spark mapreduce对比 & 框架设计和理解...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部