1
2
3
4
5
6
7
连击 天
fork: star:
加载中
顶
原
spark提交任务：java.net.UnknownHostException: cluster1
在HDFS HA中，提交spark任务时，提示：java.net.UnknownHostException: cluster1
原
spark streaming和kafka整合，保证数据exactly-once有且只被处理一次
对于流式计算系统，我们都预期能够完全正确的处理每一条数据，即所有的数据不多也不少的处理每一条数据，为了达到这样的功能，我们还有很多额外的工作需要处理。 1.首先了解spark+kafka解决这...
原
spark checkpoint用法
checkpoint注意点： 1.当某一窗口被打断之后，重新从checkpoint恢复时，不会继续执行这一窗口未执行完的代码，仅仅是恢复spark streaming的配置和代码，进行下一批次的执行。 2.看到某些文章...
原
hive sql转spark sql
hive sql和spark sql，所有的sql语句是通用的，主要是一些属性设置不一样，有些hive里没有，有些spark里面没有，或者有些spark底层实现了相同的功能，只是属性名称不一样了。下面列出一些hiv...
原
编译cdh的spark，使得支持spark-sql
cloudera公司集成的spark是不带spark-sql的，如果需要让cdh的spark支持spark-sql，需要重新编译spark 网上有参考资料，大概步骤是编译，替换jar包，把spark-sql的shell脚本放到bin目录下，注...
原
spark streaming：api使用
transformation 1.textFileStream(path) 监控hdfs中的path目录，path目录必须已经存在，path中已有的文件不会作为输入，只会把新加入的文件作为输入，一定要注意，在window中，启动eclipse中...
原
spark处理大量小文件
spark core处理小文件 在sparkContext的api中，有HadoopFile相关api，可以定义自己的InputFormat。原理跟MapReduce处理小文件一样，参考之前博客：newAPIHadoopFile。除了复写InputFormat之外...
原
spark和HDFS api同时使用出现的问题
spark和HDFS api同时使用出现的问题 java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSClient.checkOpen(DFSClient.java:795)...
原
spark提示 Unable to load native-hadoop lib
NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...
原
spark-submit.sh spark-shell.sh spark-sql.sh thrift
spark-submit.sh spark-shell.sh spark-sql.sh start-thriftserver.sh
原
RDD、DataFrame、DataSet、SQLContext，HiveContext
RDD、DataFrame、SQLContext，HiveContext
原
测试spark集群是否安装成功：网页监控页面和运行spark shell
测试spark集群是否安装成功：网页监控页面和运行spark shell
原
spark Rdd 操作transformaction和action等
spark Rdd 操作transformaction和action，还有persist等类型的操作
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复