mapreduce 多文件输出新API续
mapreduce 多文件输出新API续
坏坏一笑 发表于3年前
mapreduce 多文件输出新API续
  • 发表于 3年前
  • 阅读 499
  • 收藏 4
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

摘要: hadoop mapreduce 多文件输出,解决reduce输出到不同目录

    对于上一篇hadoop mapreduce 多文件输出,有一些地方介绍的不准确,这里做个续简单更正一下,同时正好解决了上一篇的不能多文件夹输出的问题

    1、针对于上一篇代码中的 MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);  方法,其实第二个参数并非是这么用的,下面看代码:

private MultipleOutputs<NullWritable, Text> multipleOutputs = null;
	@Override
	protected void reduce(IntWritable key, Iterable<Text> values,Context context)
			throws IOException, InterruptedException {
		for(Text val:values){
			multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");
			multipleOutputs.write("AllData", NullWritable.get(), val);
		}
	}

write函数很多重载方法,之前用的是三个参数的,这个方法其实是将所有的reduce输出都输出到一个文件夹中,

这时候我们在调用MultipleOutputs.addNamedOutput()函数的时候传递的第二个参数为多个,所以会导致

-rw-r--r--   2 hadoop supergroup   10569073 2014-06-06 11:50 /test/aa/fileRequest-m-00063.lzo
-rw-r--r--   2 hadoop supergroup   10512656 2014-06-06 11:50 /test/aa/fileRequest-m-00064.lzo
-rw-r--r--   2 hadoop supergroup      68780 2014-06-06 11:51 /test/aa/firstIntoTime-m-00000.lzo
-rw-r--r--   2 hadoop supergroup      67901 2014-06-06 11:51 /test/aa/firstIntoTime-m-00001.lzo

这样的现象,而且会多输出很多没有用的空文件

那么其实write方法有一个带有四个参数的方法,最后一个参数就恰巧是传递一个目录进去,目的是针对于不同的逻辑将reduce产生的数据输出到不同的文件夹目录下。如第一段代码中的multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");语句,最后一个参数的作用就是相将key作为文件夹,将具有相同key 的数据输出到这个文件夹中,后面跟着一个“/” 代表是当前目录下,当前目录指的肯定不是项目的当前目录,他是在执行hadoop jar 时传递的输出目录的参数,如:hadoop jar test.jar com.TestJob /input /output    

假设数据是这样的:
1    丽梅
1    小辉
2
    小红
3    大华

那么将输出三个文件夹分别为
/output/1
/output/2
/output/3
其中/output/1这个文件夹中一个文件,内容为

1    丽梅
1    小辉

write函数还有其他方法,暂时还没有研究,而且针对于write方法的第一个函数也没有去研究,如果有时间,会把多文件输出详细总结一下

注:在配置job的时候

这句代码

MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);



就写一次就够了






  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 8
博文 50
码字总数 28233
×
坏坏一笑
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: