文档章节

mapreduce 多文件输出新API续

坏坏一笑
 坏坏一笑
发布于 2014/10/31 17:37
字数 626
阅读 505
收藏 4

    对于上一篇hadoop mapreduce 多文件输出,有一些地方介绍的不准确,这里做个续简单更正一下,同时正好解决了上一篇的不能多文件夹输出的问题

    1、针对于上一篇代码中的 MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);  方法,其实第二个参数并非是这么用的,下面看代码:

private MultipleOutputs<NullWritable, Text> multipleOutputs = null;
	@Override
	protected void reduce(IntWritable key, Iterable<Text> values,Context context)
			throws IOException, InterruptedException {
		for(Text val:values){
			multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");
			multipleOutputs.write("AllData", NullWritable.get(), val);
		}
	}

write函数很多重载方法,之前用的是三个参数的,这个方法其实是将所有的reduce输出都输出到一个文件夹中,

这时候我们在调用MultipleOutputs.addNamedOutput()函数的时候传递的第二个参数为多个,所以会导致

-rw-r--r--   2 hadoop supergroup   10569073 2014-06-06 11:50 /test/aa/fileRequest-m-00063.lzo
-rw-r--r--   2 hadoop supergroup   10512656 2014-06-06 11:50 /test/aa/fileRequest-m-00064.lzo
-rw-r--r--   2 hadoop supergroup      68780 2014-06-06 11:51 /test/aa/firstIntoTime-m-00000.lzo
-rw-r--r--   2 hadoop supergroup      67901 2014-06-06 11:51 /test/aa/firstIntoTime-m-00001.lzo

这样的现象,而且会多输出很多没有用的空文件

那么其实write方法有一个带有四个参数的方法,最后一个参数就恰巧是传递一个目录进去,目的是针对于不同的逻辑将reduce产生的数据输出到不同的文件夹目录下。如第一段代码中的multipleOutputs.write("KeySplit", NullWritable.get(), val, key.toString()+"/");语句,最后一个参数的作用就是相将key作为文件夹,将具有相同key 的数据输出到这个文件夹中,后面跟着一个“/” 代表是当前目录下,当前目录指的肯定不是项目的当前目录,他是在执行hadoop jar 时传递的输出目录的参数,如:hadoop jar test.jar com.TestJob /input /output    

假设数据是这样的:
1    丽梅
1    小辉
2
    小红
3    大华

那么将输出三个文件夹分别为
/output/1
/output/2
/output/3
其中/output/1这个文件夹中一个文件,内容为

1    丽梅
1    小辉

write函数还有其他方法,暂时还没有研究,而且针对于write方法的第一个函数也没有去研究,如果有时间,会把多文件输出详细总结一下

注:在配置job的时候

这句代码

MultipleOutputs.addNamedOutput(job, "errorlog",
    TextOutputFormat.class, Text.class, NullWritable.class);



就写一次就够了






© 著作权归作者所有

上一篇: mapreduce top n
坏坏一笑
粉丝 10
博文 54
码字总数 29772
作品 0
昌平
程序员
私信 提问
Hadoop源代码分析(包hadoop.mapred中的MapReduce接口)

前面已经完成了对org.apache.hadoop.mapreduce的分析,这个包提供了Hadoop MapReduce部分的应用API,用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的,目前MapReduce...

超人学院
2015/05/25
114
0
一文详解大规模数据计算处理原理及操作重点

作者介绍 李智慧,《大型网站技术架构:核心原理与案例分析》作者。曾供职于阿里巴巴与英特尔亚太研发中心,从事大型网站与大数据方面的研发工作,目前在做企业级区块链方面的开发工作。 大数...

DBAplus社群
2018/08/07
0
0
【hadoop】16.MapReduce-简介

简介 本章节我们先来了解一些关于MapReduce的理论知识。从本章节您可以学习到:MapReduce的相关知识。 1、概念 Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析...

Areya
2019/01/12
34
0
Hadoop 版本 生态圈 MapReduce模型

一 Hadoop版本 和 生态圈 1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程 : -- 主干分支 : 新功能都是在 主干分支(trunk)上开发; -- 特性独有分支 : 很多新特性稳定性很...

日拱一卒
2014/05/17
95
0
2014-11-12--Hadoop的基础学习(三)--Hadoop中MapReduce框架入门

1.MapReduce的简单概念 百度百科:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",和他们的主要思想,都是从函数式编程语言里借来的...

查封炉台
2014/11/16
8.3K
8

没有更多内容

加载失败,请刷新页面

加载更多

你应该将.gitignore投入Git回购吗?

你认为将.gitignore变成Git仓库是一种好习惯吗? 有些人不喜欢它,但我认为它很好,因为你可以跟踪文件的历史记录。 不是吗? #1楼 我把提交.gitignore,这是对其他可能构建我的项目的人的礼...

javail
8分钟前
14
0
[读书笔记] 大型网站性能优化实战-服务端性能优化

1 QPS (吞吐量) 1.1 RT (Response Time,响应时间) 服务器端 RT+网络开销 ≈ 客户端 RT。对于网络来讲,常见的优化方式有 CDN、 AND和专线, 分别适用于不同的场景。 服务器端 RT = Thread ...

QingHuo
10分钟前
15
0
如何优雅地检测JavaScript中的空闲时间?

是否可以在JavaScript中检测“ 空闲 ”时间? 我的主要用例可能是预取或预加载内容。 空闲时间: 用户不活动或没有使用CPU的时间 #1楼 如果不使用jQuery,则仅使用普通JavaScript: var inac...

技术盛宴
55分钟前
31
0
concurrently 启动多个serve时命令行输出混乱

在script中配置中加入参数 -r "start": "npx concurrently -r \"npm:serve\" \"npm:web\"" 输出比较整洁 输出混乱, 会将有用的信息冲掉...

阿豪boy
今天
48
0
每天AC系列(三):电话号码的字母组合

1 题目 Leetcode第17题。 数字2-9映射字母,给出一个包含字符串的数字,列出字母的所有组合。 2 递归 拿到这样的题目想到了递归实现,创建一个Map映射对应的字母,然后把它传给递归函数,同时...

Blueeeeeee
今天
44
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部