文档章节

零基础学习hadoop到上手工作线路指导(中级篇)

一枚Sir
 一枚Sir
发布于 2014/08/07 18:05
字数 3431
阅读 138
收藏 5

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。
五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:
hadoop分为hadoop1.Xhadoop2.X,并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。




hadoop 1.x分为
mapreducehdfs

其中mapreduce是很多人都需要迈过去的槛,它比较难以理解,我们有时候即使写出了mapreduce程序,但是还是摸不着头脑。
我们不知道key代表什么意思,我们不知道为什么会处理这个value。map有key、value,输出了key、value,有时候还会合并,reduce处理完毕之后又输出了key、value。这让我们产生了困惑,分不清。

mapreduce是一种编程模型,那么它能干什么,对我有什么用。它的原理是什么,为什么我们编写了map函数,reduce函数就可以在多台机器上运行。
这些问题或许都给初学者带来了困扰。是的,这些问题同样也困扰了我,这里写出来分享给大家,避免走同样的弯路。

面对mapreduce,有一篇文章,这里总结的很好,包括:该如何入门,该如何理解mapreduce,该如何练习mapreduce,该如何运用mapreduce。这里面介绍的很全。
mapreduce学习指导及疑难解惑汇总,内容包括:
---------------------------------------------------------------------------------------------------
1.思想起源:

我们在学习mapreduce,首先我们从思想上来认识。其实任何的奇思妙想,抽象的,好的想法、都来源于我们生活,而我们也更容易理解我们身边所发生事情。所以下面一篇便是从生活的角度,来让我们理解,什么是mapreduce。
Hadoop简介(1):什么是Map/Reduce

2.设计思路

我们从思想上认识了mapreduce,那么mapreduce具体是什么,我们需要看得见,摸得着。我们该如何实现这个思想,我们该如何设计mapreduce。那么现在来说说它的设计思路。

设计思路如何表示:ok下面的帖子,是通过一张图来表达的。
Mapreduce 整个工作机制图

mapreduce是hadoop的核心,正因为mapreduce,所以才产生了分布式。所以我们可能通过一张图,了解的不够清楚和详细。我们还需要了解里面的原理:
MapReduce工作原理讲解

 
3.模型实现

通过上面我们可能有了自己的一些看法。但是我们可能还是认识不太清楚。那么咱们在来看看编程模型,来进一步的了解。

MapReduce 编程模型概述


mapreduce编程模型


4.产生问题

我们看了上面的文章,这时候会有一些名词、概念进入我们的脑海。
除了map,reduce,task,job,shuffe,partition,combiner这些把我们给弄糊涂了。
我们产生问题如下:
map的个数由谁来决定,如何计算?
reduce个数由谁来决定,如何计算?
简单来讲map由split来决定,reduce则是由partition来决定。
详细可以查看
如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么?

---------------------------------------------------------------------------------------------------
shuffle是什么?
partition是什么?
combiner是什麽?
他们三者之间的关系是什么?

mapreduce是hadoop核心,而shuffle是mapreduce的核心,shuffle个人认为它是一个动态的过程,包含了Combiner,merge等的过程,那么这里因为讲到shuffle,很多人都讲的全面,Combiner,merge,sort几乎全都讲了,这样讲是没有错误的,但是容易给初学者造成一个假象,那就是这些过程必须都是包含的,其实这些是根据个人的需求来确定的。
彻底了解mapreduce核心Shuffle--解惑各种mapreduce问题

对于Combiner的疑惑可以查看
Mapper过程中Combiner的作用
解决了下面问题

为什么需要在Mapper端进行归约处理?

为什么可以在Mapper端进行归约处理?

既然在Mapper端可以进行归约处理,为什么在Reducer端还要处理?


上面三个问题,可以查看帖子

hadoop中,combine、partition、shuffle作用分别是什么?


同样关于上面的问题可以参考
关于Mapper、Reducer的个人总结




5.编程实现

mapreduce是一种编程模型,我们认识了解,下面就需要编程实现了。那么mapreduce都能做些什么?下面我们可以看看

MapReduce初级案例(1):使用MapReduce去重


MapReduce初级案例(2):使用MapReduce数据排序


MapReduce初级案例(3):使用MapReduce实现平均成绩


通过上面三个例子,也是我们验证前面所理解的内容。
同样可以参考下面内容

Hadoop mapper类的阅读

Hadoop reducer类的阅读

Mapreduce shuffle和排序

hadoop中mapreduce包及制作文档指导


Hadoop开发环境搭建及map-reduce开发实例讲解视频下载


如何进行Hadoop二次开发指导视频下载



6.mapreduce应用
上面是一些基本的知识,那么我们熟悉之后,其实有些地方,可以应用在其它方面。下面可以参考:

淘宝之HBase MapReduce实例分析


MapReduce在压力测试中的应用
---------------------------------------------------------------------------------------------------

这里在增加几篇:
深度了解mapreduce---MapReduce源码分析总结
此篇文章可以解决很多初学者的困惑,由浅入深讲的很不错。
新手指导:mapreduce不同类型的数据分到同一个分区是否会影响输出结果
由于在我们刚接触知识,会让我们造成误解,这里区分开了,分区与输出结果之间的关系。

新手指导:MapReduce中的分区方法Partitioner
这里讲解了分区是由谁来决定的,我们该如何分区

新手指导:mapreduce的key与value输入输出参数为什么会让你迷惑
对于新手这篇文章阐述了key,value为什么会让我们迷惑。

新手指导:让你真正了解mapreduce中map函数与reduce函数功能及key与value的含义
词牌你文章同样,从另外角度讲解了key,value,通过上面两篇或许你已经认识了key与value。

通过Wordcount实例解析map函数及reduce函数执行过程
很多新手在学习的过程中找不到标准,不知道mapreduce程序,每个过程,每行代码代表什么意思,这里给大家提供可以参考一下。

总结:如果已经把上面的文章都看过了,那么你对mapreduce如果说还不透彻,但是已经感觉对mapreduce会有自己的看法了。并且产生的各种问题,都有了自己的答案。


---------------------------------------------------------------------------------------------------
mapreduce熟悉了,还有一些问题困扰着初学者,虽然有了Java基础,但是我们需要搭建开发环境,该如何搭建开发环境:
hadoop开发方式总结及操作指导

开发方式有两种,但是其实本质是一样的,第一种方式只能操作hdfs,对于操作mapreduce,可能会遇到权限问题。所以可以采用第二种方式。也就是下面这篇所介绍的开发方式
新手指导:Windows上使用Eclipse远程连接Hadoop进行程序开发


---------------------------------------------------------------------------------------------------
因为在操作mapredcue过程中伴随着操作hdfs,就像我们传统开发,编程是离不开数据库一样。hdfs可以理解为传统编程的数据库,但是其实他不是,真正的数据库是hadoop data base,也就是hbase。好了下面,我们开始讲hdfs:

我们该如何学习hdfs:
什么是HDFS及HDFS架构设计

这里给我们一个初步的概念
HDFS体系结构简介及优缺点

初步了解之后,我们就需要了解它的组成,为了更好的使用它,我们就需要了解他的优点与缺点。

HDFS可以理解为数据库,因为我们既可以通过sql直接操作数据库,亦可以通过编程接口,通过编程语言来操作。那么HDFS则是可以通过shell来操作。
Hadoop Shell命令字典(可收藏)

Hadoop框架之HDFS的shell操作

HDFS Shell基本操作HDFS命令行接口

,同样hsfs的编程接口可以通过下面来了解:
HDFS的Java访问接口

Java创建hdfs文件实例

Hadoop培训笔记之HDFS编程

为了节省空间,我们还可以对hdfs数据进行压缩:
HDFS支持数据压缩的几种方法探讨



上面可以说是我们已经有了一定的了解,但是有的同学,想系统的了解,这里给大家提供一些资料。

HDFS必读书籍:HDFS-Hadoop分布式文件系统深度实践


Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理大全1-9章


深入浅出Hadoop实战开发(HDFS实战图片、MapReduce、HBase实战微博、Hive应用)
----------------------------------------------------------------------------------------------
我们在学习和使用的过程中,会遇到很多的错误,这里也给大家提供几篇帖子
hadoop常见错误汇总及解决办法一

Hadoop常见错误问题及解决方法总结二

hadoop常见错误总结三

-----------------------------------------------------------------------------------------------------------------
至此hadoop1.x已经完毕了(后面有时间继续补充)

hadoop生态系统

hadoop生态系统内容还是比较多的,但是最常用的是hivehbase,所以这里对他们也总结一下:
1.hive
首先我们需要hive是什么?

让你真正明白什么是hive
上面讲的很明白
1.hive是一个数据仓库
2.hive基于hadoop。
总结为一句话:hive是基于hadoop的数据仓库。
hive明白之后,如同我们明白了关系数据库是什么了,那么我们该如何使用操作它:
首先我们要安装,安装分为很多种分为单机遇集群安装。
可参考下面内容:(正在更新)
Hive安装指导

HIVE完全分布式集群安装过程(元数据库: MySQL)

上面需要说明的是hive默认数据库并不是mysql,但是因为默认数据库存在局限,所以最好使用mysql。

安装完毕,那么我们就需要练练手了,可以根据下面内容
hive基本操作
会了基本的操作还不够,如同我们需要了解sql语法一样,我们需要了解hive各种语法

Hadoop Hive sql语法详解1-认识hive及DDL操作

Hadoop Hive sql语法详解2-修改表结构

Hadoop Hive sql语法详解3--DML 操作:元数据存储

Hadoop Hive sql语法详解4--DQL 操作:数据查询SQL

Hadoop Hive sql语法详解5--HiveQL与SQL区别

这里面包含了加载数据、查询数据等各种操作。
上面是一些基本的操作,下面还有一些负责一些操作如:
Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍

Hive如何执行文件中的sql语句

Hive四种数据导入方式介绍

Hive中的三种不同的数据导出方式介绍

Hive如何创建索引

上面基本属于实战类型,我们还需要高级进阶,我们需要了解里面的原理,我们需要知道遇到问题,该如何解决。
原理:
全面了解hive

Hive体系结构介绍

hive实现原理

hive内部表与外部表区别详细介绍

HIVE中Join的专题---Join详解

让你彻底明白hive数据存储各种模式

Hive配置文件中配置项的含义详解(收藏版)

HIVE与传统数据库对比

hive详解

原理大致懂了,基本操作会了,我们可能又有了更进一步的认识,那么hive如何结合hadoop,hbase发挥作用,该如何发挥它的实际意义,被我们所用。

首先我们使用hive的时候,很多都与hbase相结合,这样发挥hive的长处,在各种查询数据方面相比hbase使用更方便。
hive为什么与hbase整合

Hive与HBase整合完整指导

hadoop、hbase、hive版本对应关系

上面是与hbase结合使用,那么我们该如何与编程语言向结合,可以参考下面内容:

通过JDBC驱动连接Hive操作实例

Hive:用Java代码通过JDBC连接Hiveserver介绍
Hive:用Java代码通过JDBC连接Hiveserver介绍

从 MapReduce 到 Hive 实战分析

hive实战

上面或许你已经对hive有所了解,下面的面试及遇到的问题,大家可参考
hive找不到创建的表了

Shark对Hive的支持与不支持的语法介绍

面试题:分别使用Hadoop MapReduce、hive统计手机流量

hive面试题目:表大概有2T左右,对表数据转换

hive如何通过设置日志定位错误

hive在腾讯分布式数据库时间分享

(暂时到此,以后更新)





如果到了这个地方。后面的内容你可以在看看视频。
hadoop新手入门视频
hadoop10G云计算和实战hadoop视频教程外加炼术成金和云计算视频(免费分享)
hadoop搭建集群线路指导


通过以上视频,搭建环境和开发环境都没有问题。以后有时间咱们可以再次展开和讨论。

© 著作权归作者所有

一枚Sir
粉丝 119
博文 209
码字总数 350904
作品 0
朝阳
架构师
私信 提问
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
892
0
零基础学习hadoop到上手工作线路指导(初级篇)

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。才刚接触大数据时,曾经想过培训,但是培训机构的选择就让我很纠结。因为师兄跟我说,很多培训机构的老师其实以前就是他们的学...

我思gu我在
2017/01/09
211
3
Hadoop新手学习指导

对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的: 云计算,是一种基于互联网的计算方式,通过这种方式,共...

一枚Sir
2014/08/07
120
0
零基础学Java的10个方法

版权声明:本文为北京尚学堂原创文章,未经允许不得转载。 零基础学Java只要方法得当,依然有机会学习好Java编程。 但作为初学者可以通过制定一些合理清晰的学习计划。 在帮你屡清楚思路的同...

SXTkaifa
2016/11/18
21
0
Hadoop实战开发教程 Hadoop学习视频资料汇总

Hadoop实战开发教程 Hadoop学习视频汇总 Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技...

beifangbubai
2014/07/28
3.6K
4

没有更多内容

加载失败,请刷新页面

加载更多

centos7命令行和图形界面的相互切换

最近安装了centos7,发现在命令行和图形界面的相互切换命令上,与centos以往版本有很大不同。 1,centos7默认安装后,跟其他版本一样,启动默认进入图形界面; 2,在图形化桌面,右击鼠标,选...

无名氏的程序员
15分钟前
6
0
对称的二叉树

请实现一个函数,用来判断一颗二叉树是不是对称的。注意,如果一个二叉树同此二叉树的镜像是同样的,定义其为对称的。 boolean isSymmetrical(TreeNode pRoot) { if (pRoot == null) ...

Garphy
24分钟前
3
0
快速失败 (fail-fast) 和安全失败 (fail-safe) 的区别是什么

一:快速失败(fail—fast) 在用迭代器遍历一个集合对象时,如果遍历过程中对集合对象的内容进行了修改(增加、删除、修改),则会抛出Concurrent Modification Exception。 原理:迭代器在...

Bb进阶
27分钟前
7
0
golang 数据库与JSON解析一起 用空格分割

type Stocks struct { Id string `xorm:"varchar(64) pk" json:"id"` Name string `xorm:"varchar(64)" json:"name"` StockNum str......

zdglf
30分钟前
6
0
恨天诀——第一集 第五章

天似穹庐,笼盖四野。 静静矗立的天柱峰,像一把长剑,直插云霄。山南显得格外阴冷,萧瑟。 “龙儿,何为天道?”一长一少两人默默并排而立,长者问道。 良久,少年回答:“父亲,恕孩儿驽钝...

Kerwin_zZ
36分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部