文档章节

Hadoop输入和输出的处理类(7)

肖鋭
 肖鋭
发布于 2014/03/01 22:02
字数 846
阅读 220
收藏 0

hadoop输入的处理类

                    InputFormat

                                    InputFormat负责处理MR的输入部分。

                                    作用:

                                            1、验证作业的输入是否规范。

                                            2、把输入文件切分成InputSplit。

                                            3、提供RecordReader的实现类,把InputSplit读到Mapper中进行处理。

                    FileInputFormat

                                    FileInputFormat是所有以文件作为数据源的InputFormat实现的基类,FileInputFormat保存为Job输入的所有文件,并实现了对输入文件计算splits的方法。至于获得记录的方法是由不同的子类---TextInputFormat进行实现的。

                    TextInputFormat

                                    默认的处理类,处理普通文本文件。

                                    文件中每一行作为一个记录,他将每一行在文件中的起始偏移量作为key,每一行的内容作为value,默认以\n或回车键作为一行记录。

                                    注意:TextInputFormat集成了FileInputFormat。

                    InputSplit

                                    在执行MapReduce之前,原始数据被分割成若干Split,每个Split作为一个Map任务的输入,在Map执行过程中Split会被分解成一个个记录(key-value键值对),Map会依次处理每一个记录。

                                    Hadoop将MapReduce的输入数据划分成等长的小数据块,称为输入分片(InputSplit)或简称分片。

                                    Hadoop为每个分片构建一个Map任务,并由该任务来运行用户自定义的Map函数从而处理分片中的每条记录。

                                    Hadoop在存储有输入数据(HDFS中的数据)的节点运行Map任务,可以获得最佳性能。这就是所谓的数据本地化优化。

                                    最佳分片的大小应该与块大小相同:

                                            因为它是确保可以存储在单个节点上的最大输入块的大小。如果分片跨越2个数据块,那么对于任何一个HDFS节点,基本上都不可能同时存储着2个数据块,因此分片中的部分数据需要通过网络传输到Map任务节点,。与使用本地数据运行整个Map任务相比,这种方法显然效率更低。

                    其他输入类

                                    CombineFileInputFormat

                                                相对于大量的小文件来说,Hadoop更合适处理少量的大文件。

                                                CombineFileInputFormat可以缓解这个问题,它是针对小文件而设计的。

                                    KeyValueTextInputFormat

                                                当输入数据的每一行是两列,并用Tab分离的形式的时候,KeyValueTextInputFormat处理这种格式的文件非常适合。

                                    NlineInputFormat

                                                可以控制在每个Split中数据的行数。

                                    SequenceFileInputFormat

                                                当输入文件格式是SequenceFile的时候,要使用SequenceFileInputFormat作为输入。

                    自定义输入格式

                                    1、集成FileInputFormat基类;

                                    2、重写getSplits(JobContext context)方法;

                                    3、重写createRecordReader(InputSplit split,TaskAttemptContext context)方法;

Hadoop输出的处理类

                     TextOutputFormat

                            默认的输出格式,key和value中间值用Tab隔开的。

                    SequenceFileOutputFormat

                            将key和value以sequence格式输出。

                    SequenceFileAsOutputFormat

                            将key和value以原始二进制的格式输出。

                    MapFileOutputFormat

                            将key和value写入MapFile中,由于MapFile中的key是有序的,所以写入的时候必须保证记录是按Key值顺序写入的。

                    MultipleOutputFormat

                            默认情况下一个Reduce会产生一个输出,但是有些时候我们想一个Reduce产生多个输出,MultipleOutputFormat和MultipleOutputs可以实现这个功能。


                                                                                                                            Name:Xr

                                                                                                                            Date:2014-03-01 22:02


© 著作权归作者所有

上一篇: RPC(8)
下一篇: 生活感悟(2)
肖鋭
粉丝 10
博文 62
码字总数 29531
作品 0
朝阳
程序员
私信 提问
Hadoop实战读书笔记(7)

输入数据概要 输入数据通常驻留在较大的文件中,通常几十或者数百GB,甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理,在Hadoop的术语中这些...

祥林会跟你远走高飞
2014/12/08
132
0
一脸懵逼学习MapReduce的原理和编程(Map局部处理,Reduce汇总)和MapReduce几种运行方式

1:MapReduce的概述:   (1):MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.   (2):MapReduce由两个阶段组成:Map和Reduce,用户只需要...

别叫小伙
2017/09/18
0
0
Hadoop应用实例:Hadoop 在Last.fm的应用--实例分析

随着Last.fm服务的发展,用户数目从数千增长到数百万,这时,存储、处理和管理这些用户数据渐渐变成一项挑战。幸运的是,当大家认识到Hadoop技术能解决众多问题之后,Hadoop的性能迅速稳定下...

hanzhankang
2013/06/03
517
1
hadoop 入门wordcount分析

Hadoop wordcount程序的配置运行 hadoop是apache开源的一个分布式计算框架,定义了一种能够开发和运行处理海量数据的软件规范,永凯实现一个在大型规模集群中对海量数据进行分布式计算的软件...

writeademo
2016/11/15
29
0
逐行分析Hadoop的HelloWorld

学写代码的时候,我们总是先从helloworld开始写起,那么学习Hadoop,我们也必不可少的从helloworld开始,那么WordCount作为经典的Hadoop程序,可以作为我们庖丁解牛的材料,进而从代码的角度...

牧师-Panda
2016/11/06
50
0

没有更多内容

加载失败,请刷新页面

加载更多

如何优雅地检测JavaScript中的空闲时间?

是否可以在JavaScript中检测“ 空闲 ”时间? 我的主要用例可能是预取或预加载内容。 空闲时间: 用户不活动或没有使用CPU的时间 #1楼 如果不使用jQuery,则仅使用普通JavaScript: var inac...

技术盛宴
40分钟前
31
0
获取枚举值的属性

我想知道是否可以获取枚举值而不是枚举本身的属性? 例如,假设我有以下枚举: using System.ComponentModel; // for DescriptionAttributeenum FunkyAttributesEnum{ [Description(...

javail
今天
78
0
concurrently 启动多个serve时命令行输出混乱

在script中配置中加入参数 -r "start": "npx concurrently -r \"npm:serve\" \"npm:web\"" 输出比较整洁 输出混乱, 会将有用的信息冲掉...

阿豪boy
今天
48
0
每天AC系列(三):电话号码的字母组合

1 题目 Leetcode第17题。 数字2-9映射字母,给出一个包含字符串的数字,列出字母的所有组合。 2 递归 拿到这样的题目想到了递归实现,创建一个Map映射对应的字母,然后把它传给递归函数,同时...

Blueeeeeee
今天
44
0
Kettle自定义jar包供javascript使用

我们都知道 Kettle 是用 Java 语言开发,并且可以在 JavaScript 里面直接调用 java 类方法。所以有些时候,我们可以自定义一些方法,来供 JavaScript 使用。 本篇文章有参考自:https://www...

CREATE_17
昨天
114
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部