加载中
在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

2015/08/25 14:06
161
spark implementation hadoop setup,cleanup

def main(args: Array[String]) { val sc = new SparkContext("local", "xxx") val inputData = sc.textFile("hdfs://master:8020/data/spark/user-history-data") val lines = inputData.ma...

2015/08/11 16:41
71
spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

基于spark1.3.1的spark-sql实战-02

Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse i...

个人微信公众号,每天推送一篇高质量文章

个人微信公众号,每天推送一篇高质量文章

2015/03/11 12:41
901
Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

没有更多内容

加载失败,请刷新页面

返回顶部
顶部