加载中
spark提交任务:java.net.UnknownHostException: cluster1

在HDFS HA中,提交spark任务时,提示:java.net.UnknownHostException: cluster1

2016/05/03 10:33
1.7W
spark checkpoint用法

checkpoint注意点: 1.当某一窗口被打断之后,重新从checkpoint恢复时,不会继续执行这一窗口未执行完的代码,仅仅是恢复spark streaming的配置和代码,进行下一批次的执行。 2.看到某些文章...

2016/09/02 09:41
6.8K
hive sql转spark sql

hive sql和spark sql,所有的sql语句是通用的,主要是一些属性设置不一样,有些hive里没有,有些spark里面没有,或者有些spark底层实现了相同的功能,只是属性名称不一样了。下面列出一些hiv...

2016/08/19 15:38
779
编译cdh的spark,使得支持spark-sql

cloudera公司集成的spark是不带spark-sql的,如果需要让cdh的spark支持spark-sql,需要重新编译spark 网上有参考资料,大概步骤是编译,替换jar包,把spark-sql的shell脚本放到bin目录下,注...

2016/08/05 16:25
2.2K
spark streaming:api使用

transformation 1.textFileStream(path) 监控hdfs中的path目录,path目录必须已经存在,path中已有的文件不会作为输入,只会把新加入的文件作为输入,一定要注意,在window中,启动eclipse中...

2016/08/03 17:27
152
spark处理大量小文件

spark core处理小文件 在sparkContext的api中,有HadoopFile相关api,可以定义自己的InputFormat。原理跟MapReduce处理小文件一样,参考之前博客:newAPIHadoopFile。除了复写InputFormat之外...

2016/05/25 16:38
1.2W
spark提示 Unable to load native-hadoop lib

NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...

2016/04/20 10:44
978
spark-submit.sh spark-shell.sh spark-sql.sh thrift

spark-submit.sh spark-shell.sh spark-sql.sh start-thriftserver.sh

2016/04/12 10:51
303
RDD、DataFrame、DataSet、SQLContext,HiveContext

RDD、DataFrame、SQLContext,HiveContext

2016/04/08 17:26
1.7K
RDD转换成DataFrames

RDD转换成DataFrames

2016/04/08 17:01
3.6K
spark Rdd 操作transformaction和action等

spark Rdd 操作transformaction和action,还有persist等类型的操作

2016/02/25 16:58
2.4K
spark命令

spark命令

2016/02/24 09:47
292
spark on yarn

spark on yarn

2015/09/21 17:57
319
Spark里几个重要的概念及架构

Spark里几个重要的概念及架构

2015/09/18 10:09
527

没有更多内容

加载失败,请刷新页面

返回顶部
顶部