spark处理大量小文件

原创
2016/05/25 16:38
阅读数 1.2W

spark core处理小文件

在sparkContext的api中,有HadoopFile相关api,可以定义自己的InputFormat。原理跟MapReduce处理小文件一样,参考之前博客:newAPIHadoopFile。除了复写InputFormat之外,还可以用shell控制文件大小,合并小文件。还可以使用sparkContext的newAPIHadoopFile,如下:

val initRdd = sc.newAPIHadoopFile[LongWritable, Text, CombineTextInputFormat](hdfs_uri + primary_path).map{ line => line._2.toString }

spark sql从hive中读取小文件

spark sql是不会自动合并小文件的(hive会自动合并小文件),小文件越多,产生的task就会越多

当spark sql要从hive中读取表t1,如果使用hive,hive是会对t1表的小文件处理的,但是spark sql不会不会处理小文件,所以我们需要使用间接的方法,首先设置SET spark.sql.shuffle.partitions=20;,然后再执行如下语句:

insert overwrite table splited_tmp select * from splited_tmp_split distribute by rand(123);

最后,新表splited_tmp就是20个文件了。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部