文档章节

Hadoop实战读书笔记(7)

祥林会跟你远走高飞
 祥林会跟你远走高飞
发布于 2014/12/08 17:54
字数 3043
阅读 131
收藏 3

输入数据概要

输入数据通常驻留在较大的文件中,通常几十或者数百GB,甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理,在Hadoop的术语中这些块被称为输入分片(Input Split)。每个分片应该足够小以实现更细粒度的并行。(如果所有的输入数据都在一个分片中,那就没有并行了。) 另一方面,每个分片也不能太小,否则启动与停止各个分片处理所需的开销将占去很大一部分执行时间。

所以说:

1、单个文件要足够的大,这样才能被分片,才会有并行。

2、分片大小不能太小,否则分片太多影响效率。

并行处理切分输入数据的原则

输入数据通常为单一的大文件,揭示了其背后Hadoop通用文件系统 (尤其是HDFS) 的一些设计策略。

例如,Hadoop的文件系统提供了FSDataInputStream类用于读取文件,而未采用Java中的java.io.DataInputStream FSDataInputStream扩展了DataInputStream以支持随机读,MapReduce需要这样特性,因为一台机器可能被指派从输入文件的中间开始处理一个分片。

如果没有随机访问,而需要从头开始一直读取到分片的位置,效率就会非常低。你还可以看到HDFS为了存储MapReduce并行切分和处理的数据所做的设计。

HDFS按块存储文件并分布在多台机器上。笼统而言,每个文件块为一个分片。由于不同的机器会存储不同的块,如果每个分片/块都由它所驻留的机器进行处理,就自动实现了并行。此外,由于HDFS在多个节点上复制数据块以实现可靠性,MapReducer可以选择任意一个包含分片/数据块副本的节点。

1、必须支持随机访问。

2、每个分片由它所驻留的机器进行处理,这样就实现了并行。

3、由于存在副本的原因,MapReducer可以选择任意包含该分片的节点。

 

Hadoop默认的读入模式

MapReduce操作是基于键/值对的,Hadoop默认地将输入文件中的每一行视为一个记录,而键/值对分别为该行的字节偏移(key)和内容(value)

你也许不会把所有的数据都这样记录,Hadoop也支持一些其他的数据格式,并允许自定义格式。

 

输入分片与记录边界

请注意,输入分片是一种记录的逻辑划分,而HDFS数据块是对输入数据的物理分割。当它们一致时,效率会非常高,但在实际应用中从未达到完全一致。记录可能会跨过数据块的边界。Hadoop确保全部记录都被处理。处理特定分片的计算节点会从一个数据块中获取记录的一个片段,该数据块可能不是该记录的""数据块,而会存放在远端。为获取一个记录片段所需的通信成本是微不足道的,因为它相对而言很少发生。

 

InputFormat接口

Hadoop分割与读取输入文件的方式被定义在InputFormat接口中

TextInputFormatInputFormat的默认实现

TextInputFormat返回的键为每行的字节偏移量,好像是很少用

 

InputFormat的其他常用实现

InputFormat

描述

TextInputFormat

在文本文件中的每一行均为一个记录。键 (key) 为一行的字节偏移,而值   value)为一行的内容

Key: LongWritable

Value: Text

KeyValueTextInputFormat

在文本文件中的每一行均为一个记录,以每行的第一个分隔符为界,分隔符之前的键(key),之后的是值(value)。分离器在属性key.value.separator.in.input.line中设定,默认为制表符(\t)

Key: Text

Value: Text

SequenceFileInputFormat<K, V>

用于读取序列文件的InputFormat。键和值由用户定义。序列文件为Hadoop专用的压缩二进制文件格式。它专用于一个MapReduce作业和其他MapReduce作业之间传送数据

Key: K (用户定义)

Value: V (用户定义)

NLineInputFormat

TextInputFormat相同,但每个分片一定有N行。N在属性mapred.line.input.format.linespermap中设定,默认为1

KeyLongWritable

Value: Text

KeyValueTextInputFormat在更结构化的输入文件中使用,由一个预定义的字符,通常为制表符(\t),将每行 (记录) 的键与值分开。例如,一个以制表符分割的,由时间戳和URL组成的数据文件也需要是这样的:

17:16:18 http://hadoop.apache.org/core/docs/r0.19.0/api/index.html

17:16:19 http://hadoop.apache.org/core/docs/r0.19.0/mapred_tutorial.html

...

你可以设置JobConf对象使用KeyValueTextInputFormat类读取这个文件:

conf.setInputFormat(KeyValueTextInputFormat.class);

由前面的示例文件可知,mapper读取的第一个记录将包含一个键 "17:16:18" 和一个值

"http://hadoop.apache.org/core/docs/r0.19.0/api/index.html"。而mapper读到的第二个记录将包含键"17:16:19"和值http://hadoop.apache.org/core/docs/r0.19.0/mapred_tutorial.html... 如此递归。

之前,我们在mapper中曾使用LongWritableText分别作为键(key)和值(value)的类型。在TextInputFormat中,因为值为用数字表示的偏移量,所以LongWritable是一个合理的键类型。而当使用KeyValueTextInputFormat时,无论是键和值都为Text类型,你必须改变Mapper的实现以及map()方法来适应这个新的键 (key) 类型

 

输入到MapReduce作业的数据未必都是些外部数据,实际上,一个MapReduce作业的输入常常是其他一些MapReduce的输出。

 

你可以自定义输出格式
默认的输出格式与KeyValueTextInputFormat能够读取的数据格式保存一致 (即记录中的每行均为一个由制表符分割的键和值)不过, Hadoop提供了更加有效的二进制压缩文件格式,称为序列文件。这个序列文件为Hadoop处理做了优化,当链接多个MapReduce作业时,它是首选格式。读取序列文件的InputFormat类为SequenceFileInputFormat

 

生成一个定制的InputFormat——InputSplitRecordReader

InputFormat是一个仅包含两个方法的接口。
public interface InputFormat<K, V> {

       InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;

      

       RecordReader<K, V> getRecordReader(InputSplit split,

                                                               JobConf job,

                                                               Reporter reporter) throws IOException;

}

这两个方法总结了InputStream需执行的两个功能:

1、确定所有用于输入数据的文件,并将之分割为输入分片。每个map任务分配一个分片

2、提供一个对象 RecordReader),循环提取给定分片中的记录,并解析每个记录为预定义类型的键与值

 

那么,谁去考虑如何将文件划分为分片呢?

1FileInputFormat类主要负责分片

2InputFormat类都是FileInputFormat类的子类

3FileInputFormat实现了getSplits()方法,不过保留了getRecordReader()抽象让子类实现

4FileInputFormat中实现的getSplits()把输入数据粗略地划分为一组分片,分片数目在numSplits中限定,且每个分片得大小必须大于mapred.min.split.size个字节,但小于文件系统的块

5、在实际情况中,一个分片最终总是以一个块未大小,在HDFS中默认为64MB

 

FileInputFormat说明

1FileInputFormat有一定数量的protected方法,子类可以通过覆盖改变其行为

2、其中一个就是isSplitable(FileSystem fs, Path fileName)方法,它检查你是否可以将给定文件分片,默认实现总是返回true,因此所有大于一个分块的文件都要分片。

3、有时你可能不想该文件分片,这时你就可以覆盖isSplittable()来返回false,例如一些文件压缩方案并不支持分割,一些数据处理操作,如文件转换,需要把每个文件视为一个原子记录,也不能将之分片

 

RecordReader接口说明

这个接口负责把一个输入分片解析为记录,再把每个记录解析为一个键/值对

public interface RecordReader<K, V> {

       boolean next(K key, V value) throws IOException;

       K createKey();

       V createValue();

      

       long getPos() throws IOException;

       public void close() throws IOException;

       float getProgress() throws IOException;

}

我们不用自己写RecordReader,还是利用Hadoop所提供的类。

1LineRecordReader实现RecordReader<LongWritable, Text>。它在TextInputFormat中被用于每次读取一行,以字节偏移作为键,以行的内容作为值。

2、而KeyValueLineRecordReader则被用在KeyValueTextInputFormat

3、在大多数情况下,自定义RecordReader是基于现有实现的封装,并把大多数操作放在next()方法中。

 

自定义的TimeUrlTextInputFormat类似于KeyValueTextInputFormat,以前的键/值是Text/Text,现在是Text/URLWritableURLWritable是自定义的

public class TimeUrlTextInputFormat extends FileInputFormat<Text, URLWritable> {

       @Override

       public RecordReader<Text, URLWritable> getRecordReader(

              InputSplit input, JobConf job, Reporter reporter) throws IOException {

              return new TimeUrlLineRecordReader(job, (FileSplit) input);

       }

}

// 我们的URLWritable类非常简单:

public class URLWritable implements Writable {

       protected URL url;

       public URLWritable() {}

       public URLWritable(URL url) {

              this.url = url;

       }

       public void write(DataOutput out) throws IOException {

              out.writeUTF(url.toString());

       }

       public void readFields(DataInput in) throw IOException {

              url = new URL(in.readUTF());

       }

       public void set(String s) throws MalformedURLException {

              url = new URL(s);

       }

}

TimeUrlLineRecordReader实现

class TimeUrlLineRecordReader implements RecordReader<Text, URLWritable> {

       private KeyValueLineRecordReader lineReader;

       private Text lineKey, lineValue;

 

       public TimeUrlLineRecordReader(JonConf job, FileSplit split) throws IOException {

              lineReader = new KeyValueLineRecordReader(job, split);

              lineKey = lineReader.createKey();

              lineValue = lineReader.createValue();

       }

       public boolean next(Text key, URLWritable value) throws IOException {

              if (!lineReader.next(lineKey, lineValue)) {

                     return false;

              }

              key.set(lineKey);

              value.set(lineValue.toString());

              return true;

       }

       public Text createKey() {

              return new Text("");

       }

       public URLWritable createValue() {

              return new URLWritable();

       }

       public long getPos() throws IOException {

              return lineReader.getPos();

       }

       public float getProgress() throws IOException {

              return lineReader.getProgress();

       }

       public void close() throws IOException {

              lineReader.close();

       }

}

TImeUrlLineRecordReader类生成一个KeyValueRecordReader对象,并直接把getPos()getProgress()以及close()方法调用传递给它。而next()方法将lineValueText对象转换为URLWritable类型

 

OurputFormat类是什么?

MapReduce输出数据到文件时,使用的时OutputFormat类,它与InputFormat类相似,因为每个reducer仅需将它的输出写入自己的文件中,输出无需分片。输出文件放在一个公用目录中,通常命名为part-nnnnn,这里nnnnnreducer的分区IDRecordWriter对象将输出结果进行格式化,而RecordReader对输入格式进行解析。

几乎我们处理的所有OutputFormat类都是从FileOutputFormat抽象类继承来的

你可以通过调用JobConf对象中的setOutputFormat()定制OutputFormat

 

注意:你可能会奇怪,为什么要将OutputFormat (InputFormat) FileOutputFormat (FileInputFormat) 区分开,似乎所有OutputFormat (InputFormat) 类都扩展了FileOutputFormat FielInputFormat 是否有不处理文件的OutFormat InputFormat)类?没错,NullOutputFormat简单地实现了OutputFomat,并不需要继承FileOutputFormat。更重要的是,OutputFormat InputFormat 类处理的是数据库,并非文件,而且在类的层次关系中OutputFormat (InputFormat) 类是区别于FileoutputFormat (FileInputFormat) 的一个独立分支。这些类有专门的应用,有兴趣的读者可以在网上搜寻在线Java文档进一步了解DBInputFormatDBOutputFormat

 

主要的OutputFormat类,默认为TextOutputFormat

OutputFormat

描述

TextOutputFormat<K, V>

将每个记录写为一行文本。键和值以字符串的形式写入,并以制表符(\t)分隔。这个分隔符可以在属性mapred.textoutputformat.separator中修改

SequenceFileOutputFormat<K, V>

Hadoop专有序列文件格式写入键/值对。与SequenceFileInputFormat配合使用

NullOutputFormat<K, V>

无输出

默认的OutputFormatTextOutputFormat,将每个记录写为一行文本。每个记录的键和值通过toString()被转换为字符串(string),并以制表符 (\t) 分隔。分隔符可以在mapred.textoutputformat.separator属性中修改。

1TextOutputFormat采用可被KeyValueInputFormat识别的格式输出数据。

2、如果把键的类型设为NullWritable,它也可以采用可被TextInputFormat识别的输出格式,在这种情况下,在键/值对中没有键,也没有分隔符。

3、如果想完全禁止输出,应该使用NullOutputFormat

4、如果让reducer采用自己的方式输出,并且不需要Hadoop写任何附加的文件,可以限制Hadoop的输出。

5SequenceFileOutputFormat以序列文件格式输出数据,使其可以通过SequenceFileInputFormat来读取。它有助于通过中间数据结果将MapReduce作业串接起来

 

MapReduce程序的核心是MapReduce操作,还有其他的操作?

1data spliting(数据分割)

2shuffling(洗牌)

3Partitining(分组)

4Combining(合并)

5Hadoop还支持采用不同的格式读入和输出数据


© 著作权归作者所有

祥林会跟你远走高飞
粉丝 27
博文 50
码字总数 98029
作品 0
昌平
程序员
私信 提问
Hadoop实战读书笔记(5)

HDFS文件操作 你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节...

祥林会跟你远走高飞
2014/12/08
95
0
Hadoop实战读书笔记(6)

putmerge程序的大体流程是? 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件,打开...

祥林会跟你远走高飞
2014/12/08
65
0
敏捷教练成长记:漫漫长路第三周

看到跆拳道的软文,讲到: 学跆拳道的正确顺序: 第一阶段:有兴趣 第二阶段:没兴趣 第三阶段:逼练习 第四阶段:成习惯 第五阶段:有兴趣 第六阶段:真热爱 大部分家长在孩子第二阶段时放弃...

转型实践者
2017/11/17
0
0
2017年年终总结

前言 不知不觉,2017年又接近尾声了,又到了该写年终总结的时候了,往年这个时候都会熙熙攘攘,各大平台提早预热过年的气氛,而今年显得格外的平静,这可能正如我的现在的心境,波澜而不惊!...

韩俊强
2018/01/03
0
0
Hadoop实战读书笔记(8)

什么是开发数据集? 一个流行的开发策略是为生产环境中的大数据集建立一个较小的、抽样的数据子集,称为开发数据集。这个开发数据集可能只有几百兆字节。当你以单机或者伪分布式模式编写程序...

祥林会跟你远走高飞
2014/12/08
242
0

没有更多内容

加载失败,请刷新页面

加载更多

float精度计算测试

package mainimport ("fmt""github.com/go-ozzo/ozzo-dbx"_ "github.com/go-sql-driver/mysql")type DecimalDemo struct {Id intAmount float64}func main() {db, _......

醉人的笑容你有没有
23分钟前
89
0
新海软件邮政市场监管综合信息平台

二、系统功能 该平台包括邮政普遍服务管理、快递管理两大系统,涵盖了地图定位、普服信息、快递信息、GIS管理、网格管理、视频监控、数据分析(BI)、系统设置等八大模块,全面反映了区域邮政...

neocean
昨天
205
0
【微记忆】用户隐私政策与条款

微记忆尊重并保护所有注册用户的个人隐私权。为了给您提供更准确、更贴心的服务,微记忆会按照本隐私权政策的规定储存并使用您的个人信息。微记忆承诺将以高度严格的审慎义务对待这些信息。除...

微记忆
昨天
101
0
两周自制脚本语言-第7天 添加函数功能

第7天 添加函数功能 基本的函数定义与调用执行、引入闭包使Stone语言可以将变量赋值为函数,或将函数作为参数传递给其他函数 有些函数将有返回值的归为函数,没有返回值的归为子程序 7.1 扩充...

果汁分你一半
昨天
173
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部