文档章节

Hadoop实战读书笔记(1)

祥林会跟你远走高飞
 祥林会跟你远走高飞
发布于 2014/12/05 15:34
字数 3323
阅读 118
收藏 3
点赞 0
评论 0

编写可扩展、分布式的数据密集型程序的基础知识

为什么数据量很大?

在当今社会,我们正在被数据包围,人们上传视频、用手机照相、发短信给朋友、更新Facebook、网上留言以及点击广告等,都产生大量的数据。重要的是,服务提供者不能不这些数据随便的删除,如何存储这些数据就成为了难题。

 

数据以指数级的增长!~也就是U的右半边

数据的增长首先对像谷歌、雅虎、亚马逊、微软、Facebook、腾讯、百度、阿里等等公司提出了挑战。如何存储、如何分析,他咩的。

 

存储这些数据是有必要的,但是干嘛要进行分析呢?

你可能有这样的需求,遍历所有的数据发现哪些网站更受欢迎,哪些书籍有需求,哪种广告吸引人。如果知道了以上这些,对公司的商业发展会有很大帮助,会产生很多利润。但是数据的量级却是TB或者PB级别(1TB=1024GB 1PB=1024TB),你需要在这么大的数据上进行遍历。

 

他们怎么做了?

谷歌率先推出了MapReduce计算模型,针对自己公司的业务需求。

Doug Cutting看到机会,参考Google的论文,领导开发了一个开源版本的MapReduce,称为Hadoop

雅虎等公司纷纷响应,为其提供支持。

现在Hadoop已经成为许多互联网公司的基础计算平台的一个核心部分,如雅虎、FacebookLinkedInTwitter

许多传统行业、传媒业和电信业也开始采用这个系统,如《纽约时报》、中国移动和IBM等公司

 

作为程序员我感觉鸭梨好大呀!~

Hadoop及大规模分布式数据处理,正在迅速成为许多程序员的一项重要技能,传统的关系数据库、网络和安全也需要掌握,作为一个高效的程序员的必修课。

斯坦福和卡内基-梅隆等一流的大学已经开始将Hadoop引入他们的计算机科学课程。

 

什么是Hadoop

Hadoop是一个开源框架,可编写和运行分布式应用处理大规模数据。

 

Hadoop与众不同之处是?

方便:一般商用机器构成的大型集群或者其他云计算服务,俗称:一群屌丝顶个高富帅

健壮:容错机制,因为是一般的商用机器,所以硬件故障不能保证。Hadoop认为一台主机故障是常态,但不会影响集群的运行。

可扩展:通过增加集群的节点,可以线性的扩展以处理更大的数据集。

简单:Hadoop允许用户快速、高效的编写出并行代码,而不需要关注具体并行的实现,只要按她的模式走即可。

亚马逊的弹性计算云(EC2)等云计算服务是啥?

 

Hadoop集群是什么?

同一地点用网络互联的一组通用机器,因为有很多机器,所以也称为"机器云" ""

另外:通常在一个Hadoop集群中的机器都是相对同构的X86 Linux服务器,而且它们集合总是位于同一个数据中心,并通常在同一组机架里。

 

什么是机架?

载计算机的架子,一个机架里面有很多计算机。

 

什么是摩尔定律?

摩尔定律是由英特尔Intel)创始人之一戈登·摩尔Gordon Moore)提出来的。其内容为:当价格不变时,集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18个月翻一倍以上。

 

摩尔定律说明硬件性能的提升,就可以解决大规模计算的问题吗?

当然可以,但不能全靠超级计算机,因为这种难度会很大,古代的中国人在使用牛拉木头的时候,会使用多个牛来拉木头,而不是培养出更强壮的牛。

有一种替代方案已经获得普及,即把许多低端、商用的机器组织在一起,形成一个功能专一的分布式系统。

 

分布式系统(俗称向外扩展)与大型单机服务器(俗称向上扩展)之间的对比?

一台拥有4I/O通道的高端机,即使每个通道的吞吐量各位100MB/s,读取4TB数据也需要3个小时。

利用Hadoop,同样的数据集会被划分为较小的块 (通常64MB),通过Hadoop分布式文件系统(HDFS)分布在集群内多台机器上。集群可以并行读取数据,进而提供很高的吞吐量。

而这样一组通用机器比一台高端服务器更加便宜。

 

SETI@home 是什么?

SETI@home 是一项利用全球联网的计算机共同搜索外星生命的科学实践计划。

在世界各地计算机屏保的时候协助寻找外星生命,这样不会影响用户的使用。

SETI@home ,一台中央服务器存储来自太空的无线电信号,并在上网发布给世界各地的客户端台式机去寻找异常的迹象。经过客户端的计算后,再将返回的数据结果存储起来。

 

什么是CPU bound(计算密集型)?

CPU boundI/O密集型相反

 

什么是I/O boundI/O密集型)?

I/O bound指的是系统的CPU效能相对硬盘/内存的效能要好很多,此时,大部分的状况是CPU在等待I/O的读写

 

Hadoop与其他分布式系统架构进行比较?

SETI@home 需要客户端和服务器之间重复传输数据,但由于数据规模太大,数据迁移变得十分困难。

Hadoop是代码向数据迁移的理念,Hadoop集群内部既包含数据又包含计算环境,客户端仅需要发送待执行的MapReduce程序,而这些程序一般很小。并且,数据被拆分后再集群中分布,并且尽可能让一段数据的计算发生在同一台机器上。

 

代码向数据迁移的优势?

让数据不动(数据很大),让代码移动到数据所在的机器上。

 

传统SQL数据库与Hadoop比较一下?

关于设计理念

SQL(结构化查询语言)是针对结构化数据设计的。

Hadoop是针对文本这种非结构化数据设计的。

这样看来Hadoop提供了一种更为通用的模式。

更加详细的比较:

1、用向外扩张代替向上扩展

扩展商用关系型数据库的代价非常昂贵,性能4倍于标准的PC的机器,成本将大大超过同样的4PC放在一个集群中。一个Hadoop集群的标配是十至数百台计算机。

2、用键/值对代替关系表

关系型数据库的一个基本原则是按某种模式存放具有关系型数据结构的表中,但是不能很好的适合文本、图片、和XML文件等数据类型。

大型数据集往往是非结构化或半结构化的,在Hadoop中数据的来源可以是任何形式,但最终会转化为键/值对。

3、用函数式编程(MapReduce)代替声明式查询(SQL

SQL使用查询语句,声明想要查询的结果,让数据库引擎判定如何获取数据。

MapReduce使用脚本和代码,比SQL查询更为一般化的数据处理方式,例如,你可以建立复杂的数据统计模型,或者改变图像数据的格式。而SQL就不能很好的适应这些任务。

4、用离线批量处理代替在线处理

Hadoop是专为离线处理和大规模数据分析而设计的,它并不适合那种对几个记录随机读写的在线事务处理模式。

Hadoop最适合一次写入,多次读取的数据存储需求,在这方面它就像SQL的数据仓库。

 

什么是管道数据处理模型,什么是消息队列数据处理模型?

 

什么是MapReduce数据处理模型?

这种模型最大的优点是容易扩展到多个计算节点上处理数据。在MapReduce模型中,数据的处理原语被称为mapperreducer

 

练习,统计一组文档中的每个单词出现的次数?

考虑这样一种场景:一个文件,文件里只有一句话 Do as I say not as do. ,统计单词出现的次数。

define wordCount as Multiset;

for each document in documentSet {

       T = tokenize (document);

       for each token in T {

              wordCount[token]++;

       }

}

display(wordCount);

单词

计数

as

2

Do

2

i

1

not

1

say

1

改程序循环遍历所有文档。对于每个文档,使用分词过程逐个地提取单词。对于每个单词,在多重集合wordCount中的相应项上加1.最后display()函数打印出wordCount中的所有条目。

这个程序只适合少量的文档,使用单台计算机反复遍历所有文档将会非常费时。

 

那么,如何解决该问题?

可以让工作分布到多台机器上,每台机器处理这些文档的不同部分,当所有的机器都完成时,将合并这些结果。

第一阶段分布到多台机器:

// 伪代码

define wordCount as Multiset;

for each document in documentSet {

       T = tokenize (document);

       for each token in T {

              wordCount[token]++;

       }

}

sendToSecondPhase(wordCount);

第二阶段合并这些结果

// 伪代码

for each wordCount received from firstPhase {

       multisetAdd (totalWordCount, wordCount);

}

 

上边的代码不是很难对么?但是忽略了一些细节。

缺陷1:我们忽略了文档读取的性能要求,如果文件存在一个中央存储服务器上,那么瓶颈就是该服务器的带宽。因此,你需要将文档分开存放,使每台机器可以仅处理自己所存储的文档。(这也呼应了数据密集型分布式应用中存储和处理不得不紧密地绑定在一起)

缺陷2:忽略了wordCount被存储在内存中,当处理大型文档集时,一个特定单词的数量就会超过一台机器的内存。所以我们不得不改写程序,以便在磁盘上存储该散列表。这意味着我们将实现一个基于磁盘的散列表,其中设计大量的编码。

缺陷3: 第二阶段只有一台计算机,它将处理来自所有计算机在第一个阶段计算的wordCount的结果。wordCount的处理任务原本就相当繁重,第二阶段的单台计算机将成为瓶颈。

 

那么,针对以上缺陷将如何应对?

解决缺陷3,我们能否按分布模式重写第二阶段,以便它可以通过增加更多的计算机来实现扩展?

需要在第一阶段之后将wordCount分区,使得第二阶段的每台计算机仅需处理一个分区。

举个例子,假设我们在第二阶段有26台计算机。我们让每台计算机上的wordCount只处理以特定字母开头的单词。例如,计算机A在第二阶段统计以字母a开头的单词。为了在第二阶段中实现这种划分,我们需要对第一阶段稍微修改。不再采用基于磁盘的散列表实现wordCount,而是划分出26个表:wordCount-awordCount-b等。每个表统计以特定字母开头的单词。经过第一阶段,来自该阶段所有计算机的wordCount-a结果将被发送到第二阶段的计算机A上,所有wordCount-b的结果将被发送到计算机B上,依次类推。第一阶段中的每台计算机都会将结果洗牌到第二阶段计算机上。

 

现在单词统计程序正变得复杂,为了使它工作在一个分布式计算机集群上,我们发现需要添加以下功能:

存储文件到许多台计算机上 (第一阶段)

编写一个基于磁盘的散列表,使得处理不受内存容量限制

划分来自第一阶段的中间数据 (wordCount)

洗牌这些分区到第二阶段中合适的计算机上

 

为什么使用Hadoop

即使对于单词统计这样简单的程序,这都是繁重的工作,而我们甚至还没有涉及容错的问题。

(如果在任务执行过程中一个计算机失效该怎么办?)这就是我们需要一个像Hadoop一样的框架。当你用MapReduce模型来写应用程序,Hadoop将替你管理所有与可扩展性相关的底层问题。

© 著作权归作者所有

共有 人打赏支持
祥林会跟你远走高飞
粉丝 26
博文 50
码字总数 98029
作品 0
昌平
程序员
Hadoop实战读书笔记(5)

HDFS文件操作 你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节...

祥林会跟你远走高飞
2014/12/08
0
0
Hadoop实战读书笔记(7)

输入数据概要 输入数据通常驻留在较大的文件中,通常几十或者数百GB,甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理,在Hadoop的术语中这些...

祥林会跟你远走高飞
2014/12/08
0
0
Hadoop实战读书笔记(6)

putmerge程序的大体流程是? 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件,打开...

祥林会跟你远走高飞
2014/12/08
0
0
敏捷教练成长记:漫漫长路第三周

看到跆拳道的软文,讲到: 学跆拳道的正确顺序: 第一阶段:有兴趣 第二阶段:没兴趣 第三阶段:逼练习 第四阶段:成习惯 第五阶段:有兴趣 第六阶段:真热爱 大部分家长在孩子第二阶段时放弃...

转型实践者
2017/11/17
0
0
敏捷教练成长记:秋高气爽第四周

不知不觉坚持了四周了,这周很忙,写读书笔记时尽显疲态,有厌倦的感觉了。需要自我调整,继续坚持。 1、敏捷方面读不少于50页的书或者文章。 阅读《持续交付-发布可靠软件的系统方法》第三章...

转型实践者
2017/11/26
0
0
Hadoop实战读书笔记(8)

什么是开发数据集? 一个流行的开发策略是为生产环境中的大数据集建立一个较小的、抽样的数据子集,称为开发数据集。这个开发数据集可能只有几百兆字节。当你以单机或者伪分布式模式编写程序...

祥林会跟你远走高飞
2014/12/08
0
0
Hive客户端工具

Hive客户端工具 {流水理鱼|wwek}2017-12-271 阅读 hivehadoopv 前沿 Hive有多种Hive客户端工具 Hive命令行工具只适合执行已经编写好的HSQL语句,或者执行较为简单 […] 点赞 hivehadoopv 作者...

{流水理鱼|wwek}
2017/12/27
0
0
读书笔记博客实战之搜索引擎索引和流量涨跌策略分析[图]

写在前面:最近百度动作频繁,变化十分大,以至于很多网站都出现了流量的大范围波动,引起了站长们的思考和分析猜测,但通过数据来分析是最可靠的观点,那么我们今天就来分析一下这几天百度在...

原创小博客
05/17
0
0
Hadoop实战读书笔记(9)

如何将一个反向引用索引的程序的Reducer输出的类型改为IntWritable public static class Reduce extends MapReduceBase implements Reducer<Text, Text, Text, IntWritable> { public void ......

祥林会跟你远走高飞
2014/12/09
0
0
2017年年终总结

前言 不知不觉,2017年又接近尾声了,又到了该写年终总结的时候了,往年这个时候都会熙熙攘攘,各大平台提早预热过年的气氛,而今年显得格外的平静,这可能正如我的现在的心境,波澜而不惊!...

韩俊强
01/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

FISCO-BCOS v1.3.1 通过物料包安装记录

本文是从FISCO-BCOS的官方GitHub中的安装包进行安装的记录过程 1. Node.js环境准备 #nodejs安装 nvmsudo curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.33.11/install.sh......

undefine
11分钟前
0
0
通过nginx访问静态文件配置

通过nginx访问静态文件配置,均是在server模块中配置,有两种方式: 1、alias 通过alias关键字,重定义路径,如 server{ listen 7001; server_name 127.0.0.1; location /file/ { alias /hom...

binhu
12分钟前
0
0
Linux 系统日志、screen 工具

1、Linux 系统日志 日志重要吗?必须的,没有日志我们怎么知道系统状况?没有日志如何排查一个trouble?日志记录了系统每天发生的各种各样的事情,你可以通过它来检查错误发生的原因,或者受...

JolieLin
21分钟前
1
0
MAVEN打包时报错“程序包xxx不存在”

1.错误场景: 项目为springboot项目,maven聚合工程,分为app、api 、common、gongqiu四个项目,app、api 、common的父类是gongqiu,app和api依赖common,打包时报错common中的程序包xxx不存...

无语年华
22分钟前
0
0
CSS

一、简介 CSS 指层叠样式表 (Cascading Style Sheets) 样式定义如何显示 HTML 元素 样式通常存储在样式表中 把样式添加到 HTML 4.0 中,是为了解决内容与表现分离的问题 外部样式表可以极大提...

blackfoxya
30分钟前
0
0
MCI:移动持续集成在大众点评的实践

一、背景 美团是全球最大的互联网+生活服务平台,为3.2亿活跃用户和500多万的优质商户提供一个连接线上与线下的电子商务服务。秉承“帮大家吃得更好,生活更好”的使命,我们的业务覆盖了超过...

美团技术团队
33分钟前
0
0
UI组件Kendo UI发布R2 2018|附下载

通过70多个可自定义的UI组件,Kendo UI可以创建数据丰富的桌面、平板和移动Web应用程序。通过响应式的布局、强大的数据绑定、跨浏览器兼容性和即时使用的主题,Kendo UI将开发时间加快了50%...

Miss_Hello_World
38分钟前
0
0
加密货币的安全性比想象的高

比特币之类加密货币比想象中安全,遭遇安全问题的是加密货币交易所。 加密货币一直被认为其本身是毫无价值的,还被当成是庞氏骗局和泡沫根源。但或许加密货币的主要问题并非其注定是投机型资...

linux-tao
41分钟前
0
0
非常实用的IDEA插件之总结

1、Alibaba Java Coding Guidelines 经过247天的持续研发,阿里巴巴于10月14日在杭州云栖大会上,正式发布众所期待的《阿里巴巴Java开发规约》扫描插件!该插件由阿里巴巴P3C项目组研发。P3C...

Gibbons
42分钟前
2
0
爬虫必知的request模块

# 导入 Request模块# 若本机无自带Request模块,可自行下载或者使用pip进行安装# python版本Python3import requestsimport json#######################Get请求###############...

zhujun2017
44分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部