加载中
spark取得lzo压缩文件报错 java.lang.ClassNotFoundException

恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧 配置信息 hadoop core-site.xml配置 <property>    <name>io.compression.codecs</name>         <value>org.apache...

spark-1.2.0 集群环境搭建

spark-1.2.0 集群环境搭建

2015/01/06 17:20
112
基于spark1.3.1的spark-sql实战-02

Hive Tables 将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 When not configured by the hive-site.xml, the context automatically creates metastore_db and warehouse i...

jetty命令行方式启动jetty-runner.jar 容器

jetty命令行方式启动jetty-runner.jar 容器

2015/01/09 14:11
248
putty windows上传文件到linux服务器 & 从linux服务器下载文件到windows

putty windows上传文件到linux服务器 & 从linux服务器 下载文件到 windows

2015/01/12 12:33
1.8K
scala入门-06抽象类(abstract)的使用

scala入门-06抽象类(abstract)的使用

2015/01/12 18:13
226
scala入门-08 apply方法和单例对象的使用

scala入门-08 apply方法和单例对象的使用 scala入门-08 apply方法和单例对象的使用 scala入门-08 apply方法和单例对象的使用

spark总体概况

1. spark vs hadoop PS:Databricks团队特别说明,为了和Hadoop对比,这次用于排序的Spark集群没有使用它们的内存缓存机制,他们也是用硬盘存储的中间结果! http://tieba.yunxunmi.com/mtie...

scala入门-01-IDEA安装scala插件

scala入门-01-IDEA安装scala插件

2015/01/06 20:53
194
在 Databricks 可获得 Spark 1.5 预览版

我们兴奋地宣布,从今天开始,Apache Spark1.5.0的预览数据砖是可用的。我们的用户现在可以选择提供集群与Spark 1.5或先前的火花版本准备好几个点击。 正式,Spark 1.5预计将在数周内公布,和社区...

2015/08/25 14:06
101
基于spark1.3.1的spark-sql实战-01

sqlContext总的一个过程如下图所示: SQL语句经过SqlParse解析成UnresolvedLogicalPlan; 使用analyzer结合数据数据字典(catalog)进行绑定,生成resolvedLogicalPlan; 使用optimizer对res...

整合Kafka到Spark Streaming——代码示例和挑战

整合Kafka到Spark Streaming——代码示例和挑战

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cach

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

Spark 性能相关参数配置详解-任务调度篇

Spark 性能相关参数配置详解-任务调度篇

hive on spark 编译

前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在s...

Apache Spark 1.5.0正式发布

Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。Spark 1.5.0...

2015/09/09 18:07
333
spark standalone模式 zeppelin安装

1. 前置条件 None root account Apache Maven Java 1.7 2. 源码 https://github.com/apache/incubator-zeppelin git clone https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:...

2015/09/09 14:00
860
zeppelin入门使用

Display System text 默认使用scala语言输出text内容 shell html scala 输出html shell 输出html table scala shell table scala: shell: html: Manual 动态表格 使用表格模板 文本输入格式:...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部