文档章节

从零开始学习Hadoop--第4章 序列化

brian_2017
 brian_2017
发布于 2017/01/17 09:13
字数 1371
阅读 4
收藏 0

1. 序列化从头说

在面向对象程序设计中,类是个很重要的概念。所谓“类”,可以将它想像成建筑图纸,而对象就是根据图纸盖的大楼。类,规定了对象的一切。根据建筑图纸造房子,盖出来的就是大楼,等同于将类进行实例化,得到的就是对象。

一开始,在源代码里,类的定义是明确的,但对象的行为有些地方是明确的,有些地方是不明确的。对象里不明确地方,是因为对象在运行的时候,需要处理无法预测的事情,诸如用户点了下屏幕,用户点了下按钮,输入点东西,或者需要从网络发送接收数据之类的。后来,引入了泛型的概念之后,类也开始不明确了,如果使用了泛型,直到程序运行的时候,才知道究竟是哪种对象需要处理。


对象可以很复杂,也可以跟时序相关。一般来说,“活的”对象只生存在内存里,关机断电就没有了。一般来说,“活的”对象只能由本地的进程使用,不能被发送到网络上的另外一台计算机。


序列化,可以存储“活的”对象,可以将“活的”对象发送到远程计算机。


把“活的”对象序列化,就是把“活的”对象转化成一串字节,而“反序列化”,就是从一串字节里解析出“活的”对象。于是,如果想把“活的”对象存储到文件,存储这串字节即可,如果想把“活的”对象发送到远程主机,发送这串字节即可,需要对象的时候,做一下反序列化,就能将对象“复活”了。


将对象序列化存储到文件,术语又叫“持久化”。将对象序列化发送到远程计算机,术语又叫“数据通信”。


Java对序列化提供了非常方便的支持,在定义类的时候,如果想让对象可以被序列化,只要在类的定义上加上了”implementsSerializable”即可,比如说,可以这么定义”publicclass Building implementsSerializable”,其他什么都不要做,Java会自动的处理相关一切。Java的序列化机制相当复杂,能处理各种对象关系。


Java的序列化机制的缺点就是计算量开销大,且序列化的结果体积大太,有时能达到对象大小的数倍乃至十倍。它的引用机制也会导致大文件不能分割的问题。这些缺点使得Java的序列化机制对Hadoop来说是不合适的。于是Hadoop设计了自己的序列化机制。


为什么序列化对Hadoop很重要?因为Hadoop在集群之间进行通讯或者RPC调用的时候,需要序列化,而且要求序列化要快,且体积要小,占用带宽要小。所以必须理解Hadoop的序列化机制。

2.Hadoop的序列化接口

什么是接口?简答来说,接口就是规定,它规定类必须实现的方法。一个接口可以包含多干个方法。如果一个类说自己实现了某个接口,那么它必须实现这个接口里的所有方法。特殊情况下,接口也可以没有任何方法。


Writable接口,也就是org.apache.hadoop.io.Writable接口。Hadoop的所有可序列化对象都必须实现这个接口。Writable接口里有两个方法,一个是write方法,将对象写入字节流,另一个是readFields方法,从字节流解析出对象。


JavaAPI提供了Comparable接口,也就是java.lang.Comparable接口。这个接口只有一个方法,就是compareTo,用于比较两个对象。


WritableComparable接口同时继承了WritableComparable这两个接口。


Hadoop里的三个类IntWritableDoubleWritableByteWritable,都继承了WritableComparable接口。注意,IntWritableDoubleWritableByteWritable,尽管后缀是“Writable”,但它们不是接口,是类!!


Hadoop的序列化接口还有更多的类型,在这里不一一列举。

3.IntWritable如何序列化

3.1 目录和文件结构

这个例子演示IntWritable如何序列化。首先,创建一个IntWritable,然后,将它序列化,输出到一个字节流中。然后,创建一个新的IntWritable,从字节流中读取值,这是反序列化。


创建目录~/intser存放源代码、编译和打包结果。在intser目录下,有两个子目录,分别是src目录和classes目录,src目录存放Java源代码,class存放编译结果。在src目录下,只有一个源代码文件IntSer.java

3.2 IntSer.jav文件的源代码



packagecom.brianchen.hadoop;


importjava.io.DataOutputStream;

importjava.io.DataInputStream;

importjava.io.ByteArrayOutputStream;

importjava.io.ByteArrayInputStream;

importjava.io.IOException;


importorg.apache.hadoop.io.Writable;

importorg.apache.hadoop.io.IntWritable;

importorg.apache.hadoop.util.StringUtils;


public classIntSer{

public byte[]serialize(Writable w)throws IOException{

ByteArrayOutputStreamout = new ByteArrayOutputStream();

DataOutputStreamdataout = new DataOutputStream(out);

w.write(dataout);

dataout.close();

returnout.toByteArray();

}


public byte[]deserialize(Writable w, byte[] bytes) throws IOException{

ByteArrayInputStreamin = new ByteArrayInputStream(bytes);

DataInputStreamdatain = new DataInputStream(in);

w.readFields(datain);

datain.close();

return bytes;

}


public staticvoid main(String[] args) throws Exception{

IntWritableintw = new IntWritable(7);

byte[] bytes= serialize(intw);

Stringbytes_str = StringUtils.byteToHexString(bytes);

System.out.println(bytes_str);


IntWritableintw2 = new IntWritable(0);

deserialize(intw2,bytes);

System.out.println(intw2);

}

}


3.3 编译

cd~/intser”

javac-cp /home/brian/usr/hadoop/hadoop-1.2.1/hadoop-core-1.2.1.jar -d./classes src/*.java”

3.4 打包

jar-cvf intser.jar -C ./classes .”


3.5 运行

cd~/usr/hadoop/hadoop-1.2.1”

./bin/hadoopjar /home/brian/intser/intser.jar com.brianchen.hadoop.IntSer”

首先确认Hadoop已经是运行的,然后切换到Hadoop的安装目录,然后运行,输出结果是两行,第一行是”00000007”,第二行是”7”

© 著作权归作者所有

brian_2017
粉丝 3
博文 61
码字总数 145216
作品 0
私信 提问
Hadoop 2.X 从入门到精通系列视频课程套餐

购买大数据Hadoop课程套餐,享八五折优惠!! 套餐地址:http://edu.51cto.com/pack/view/id-806.html 赵强老师博客地址:http://collen7788.blog.51cto.com/ Avro是一个通用的序列化数据结构形...

collen7788
2016/08/07
0
0
【电子书】Hadoop实战手册 (样章第一章)

Hadoop实战手册 [美] Jonathan R. Owens,Jon Lentz,Brian Femiano 著; 傅杰,赵磊,卢学裕 译 内容简介   这是一本Hadoop实用手册,主要针对实际问题给出相应的解决方案。《Hadoop实战手...

dwf07223
2018/06/28
0
0
《Hadoop权威指南》读书简记

第一章:就是介绍一下Hadoop的历史及发展过程。 第二章:MapReduce 从一个统计气象学的例子,来引出MapReduce的写法,对比了一下新旧API的区别以及不同。新的API主要采用的是虚类而不是接口的...

牧师-Panda
2016/11/27
30
0
Python数据处理从零开始----第三章(pandas)③数据标准化(1)

目录 第三章(pandas) Python数据处理从零开始----第三章(pandas)①删除列 Python数据处理从零开始----第三章(pandas)②处理缺失数据 Python数据处理从零开始----第三章(pandas)③数据...

夜神moon
2018/11/23
0
0
ZooKeeper分布式专题与Dubbo微服务入门

ZooKeeper分布式专题与Dubbo微服务入门 网盘地址:https://pan.baidu.com/s/1TN6BlftB2uvvyVR7IDmODQ 密码: e6zt 备用地址(腾讯微云):https://share.weiyun.com/5539X2S 密码:65b36i Zo...

人气王子333
2018/04/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS 7 搭建源码包搭建LNMP环境

1,安装epel源 yum install -y epel-release 2, 安装需要的软件 yum install -y gcc automake autoconf libtool make gcc-c++ glibc libxslt-devel \libjpeg libjpeg-devel libpng libpng......

hansonwong
45分钟前
7
0
基于 K8s 做应用发布的工具那么多, 阿里为啥选择灰姑娘般的 Tekton ?

作者 | 邓洪超,阿里云容器平台工程师, Kubernetes Operator 第二人,云原生应用标准交付与管理领域知名技术专家 导读:近年来,越来越多专门给 Kubernetes 做应用发布的工具开始缤纷呈现,...

阿里巴巴云原生
47分钟前
4
0
ZStack的普惠云计算到底是“随大流”还是真功夫?(转自社区)

作为一名深耕技术圈的“老男人”,也算是经历过云计算领域的成长。近些年云计算技术不断成熟,百行百业开始云上之路,各大云计算厂商开始逐渐意识到云计算是一项“普惠”技术。 我一直很看好...

ZStack社区版
48分钟前
5
0
一个备份MySQL数据库的简单Shell脚本

Shell脚本是我们写不同类型命令的一种脚本,这些命令在这一个文件中就可以执行。我们也可以逐一敲入命令手动执行。如果我们要使用shell脚本就必须在一开始把这些命令写到一个文本文件中,以后...

旺仔大战肥五花
52分钟前
3
0
TiDB Binlog 源码阅读系列文章(四)Pump server 介绍

作者: satoru 在 上篇文章 中,我们介绍了 TiDB 如何通过 Pump client 将 binlog 发往 Pump,本文将继续介绍 Pump server 的实现,对应的源码主要集中在 TiDB Binlog 仓库的 pump/server.go...

TiDB
57分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部