加载中
spark提交任务:java.net.UnknownHostException: cluster1

在HDFS HA中,提交spark任务时,提示:java.net.UnknownHostException: cluster1

2016/05/03 10:33
1.2W
spark streaming和kafka整合,保证数据exactly-once有且只被处理一次

对于流式计算系统,我们都预期能够完全正确的处理每一条数据,即所有的数据不多也不少的处理每一条数据,为了达到这样的功能,我们还有很多额外的工作需要处理。 1.首先了解spark+kafka解决这...

2016/09/06 18:05
792
spark checkpoint用法

checkpoint注意点: 1.当某一窗口被打断之后,重新从checkpoint恢复时,不会继续执行这一窗口未执行完的代码,仅仅是恢复spark streaming的配置和代码,进行下一批次的执行。 2.看到某些文章...

2016/09/02 09:41
4.1K
hive sql转spark sql

hive sql和spark sql,所有的sql语句是通用的,主要是一些属性设置不一样,有些hive里没有,有些spark里面没有,或者有些spark底层实现了相同的功能,只是属性名称不一样了。下面列出一些hiv...

2016/08/19 15:38
399
编译cdh的spark,使得支持spark-sql

cloudera公司集成的spark是不带spark-sql的,如果需要让cdh的spark支持spark-sql,需要重新编译spark 网上有参考资料,大概步骤是编译,替换jar包,把spark-sql的shell脚本放到bin目录下,注...

2016/08/05 16:25
1.5K
spark streaming:api使用

transformation 1.textFileStream(path) 监控hdfs中的path目录,path目录必须已经存在,path中已有的文件不会作为输入,只会把新加入的文件作为输入,一定要注意,在window中,启动eclipse中...

2016/08/03 17:27
98
spark处理大量小文件

spark core处理小文件 在sparkContext的api中,有HadoopFile相关api,可以定义自己的InputFormat。原理跟MapReduce处理小文件一样,参考之前博客:newAPIHadoopFile。除了复写InputFormat之外...

2016/05/25 16:38
8K
spark和HDFS api同时使用出现的问题

spark和HDFS api同时使用出现的问题 java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:795)...

2016/05/03 14:13
773
spark提示 Unable to load native-hadoop lib

NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...

2016/04/20 10:44
848
spark-submit.sh spark-shell.sh spark-sql.sh thrift

spark-submit.sh spark-shell.sh spark-sql.sh start-thriftserver.sh

2016/04/12 10:51
123
RDD、DataFrame、DataSet、SQLContext,HiveContext

RDD、DataFrame、SQLContext,HiveContext

2016/04/08 17:26
1.6K
RDD转换成DataFrames

RDD转换成DataFrames

2016/04/08 17:01
3.4K
使用maven+eclipse构建spark项目

使用maven+eclipse构建spark项目过程和问题解决

2016/03/09 11:06
7K
测试spark集群是否安装成功:网页监控页面和运行spark shell

测试spark集群是否安装成功:网页监控页面和运行spark shell

2016/03/05 11:51
6.2K
spark Rdd 操作transformaction和action等

spark Rdd 操作transformaction和action,还有persist等类型的操作

2016/02/25 16:58
2.1K
spark命令

spark命令

2016/02/24 09:47
219
spark on yarn

spark on yarn

2015/09/21 17:57
266
spark-submit使用及说明

spark-submit使用及说明

2015/09/21 16:59
1.9W
spark standalone模式的HA

spark standalone模式的HA

2015/09/18 18:14
528
Spark里几个重要的概念及架构

Spark里几个重要的概念及架构

2015/09/18 10:09
384

没有更多内容

加载失败,请刷新页面

返回顶部
顶部