文档章节

64位linux下支持lzo的Hadoop 2.2.0分布式集群配置细节摘要

Iuranus
 Iuranus
发布于 2014/06/16 23:36
字数 978
阅读 266
收藏 10

        初学者搭建Hadoop环境容易陷入细节漩涡中,并不是说细节不重要,在程序世界中,细节恰恰是决定成败的关键。然而,如果能在深入细节之前对整体有全面、逻辑性的认识,那么遇到细节时也能准确定位自己所处位置,知道如何退、如何进。

        搭建Hadoop总的来说分为以下步骤:

  1. 检查集群机子环境,准备合适的Hadoop部署文件,一般有以下内容:

    1. 检查Java安装(一般不用自带的openJDK,具体原因暂不清楚);

    2. 自编译Hadoop 64位部署文件(32bit Hadoop部署文件在x64机子上会有些小问题)

    3. 分布式环境下对机子进行整理,罗列其ip(更改/ect/hosts文件需要),划分其Master、Slaver职责(也可以划分更细的ResourceManager、SecondNameNode等,一般来说每个机子都充分利用,均充当DataNode)

    4. “规划”Hadoop文件夹结构,包括安装目录、数据文件(hadoop_data)、临时文件(hadoop_tmp)等;一般来说,建议一个hadoop x.x.0目录下,分别设立hadoop x.x.0目录(解压的Hadoop部署文件存放位置)、hadoop-data(数据文件)、hadoop_tmp(临时文件);当然这是笔者自己的实践,如果不是“行业标准”,请勿见笑;

  2. 配置运行环境,这里指的是除Hadoop部署文件中配置文件之外的与系统相关的配置:

    1. 修改/etc/hosts文件;

    2. 对各Master-Slaver设置ssh无密码访问;

  3. 配置Hadoop参数:

    1. 对{Hadoop_Home}/etc/hadoop/下的配置文件进行修改,包括hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml,以及slaves文件(hadoop 2.2.0中无masters,参考 masters 和 slaves 文件)。

    2. 初次安装,参数尽量最小化配置,少配就行,之后集群优化的工作多得是;

  4. 配置支持lzo(这次正是太拘泥于细节,栽在了这个上面,其实分两个步骤):

    1. 安装lzo(因为集群需要原生lzo安装目录下的一些库);

    2. 安装hadoop-lzo(集群需要一些针对Hadoop的hadoop-lzo下的一些库);

    3. lzop(可选,如果需要测试效果,可用该工具生成一些.lzo文件)

  5. 启动集群:

    1. 格式化NameNode:${Hadoop_Home}/bin/hdfs namenode –format

    2. 一键式启动:${Hadoop_Home}/sbin/start-all.sh(该方法官方不建议使用,但还是能用:This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh)

    3. 检查进程状况: jps(来自JDK的工具)

    4. 细化步骤:

      1. 开启守护进程

        1. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start namenode

        2. [hadoop@hadoop01 ~]$ hadoop-daemon.sh start datanode

      2. 开启yarn守护进程

        1. [hadoop@hadoop01 ~]$ yarn-daemon.sh start resourcemanager

        2. [hadoop@hadoop01 ~]$ yarn-daemon.sh start nodemanager

        3. [hadoop@hadoop01 ~]$ start-yarn.sh

        粗略的步骤正是如此,博文是粗制,接下来一两天会继续更新。

        对于细节(整体脉络清晰了,对其中步骤不解时就可以参考对比多篇博文),附上不错的几篇参考文章:单节点hadoop2.2.0 安装Hadoop 2.2.0 (YARN)搭建笔记lzo安装说明

        整理这些步骤是为了让自己能对整个过程有个全局性的认识,不仅仅是针对Hadoop这个集群,也是提醒自己在日后的漫长时刻中,如果被诸多繁杂的细节缠住了,不妨抬起头来看看整体,这样会清爽许多。(当然,这对自己来说很难,遇到一个细节,总是非弄清楚再去做别的事情不可;既然这样的话,事后总结也是很有必要的。)


如果文章对你有用,请在收藏之余“顶/赞”一下以示鼓励吧 (/ω\)

© 著作权归作者所有

Iuranus
粉丝 12
博文 41
码字总数 22439
作品 0
高级程序员
私信 提问
Hadoop 2.2.0安装和配置lzo

Hadoop经常用于处理大量的数据,如果期间的输出数据、中间数据能压缩存储,对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split,目前lzo是最好的选择。LZO(LZO是Lempel-Ziv-...

蓝狐乐队
2014/04/22
2.9K
2
Hadoop 2.2 集群配置

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译...

颜建海
2014/04/30
1K
0
Hadoop2.2.0安装配置手册

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译...

cnxk
2013/12/06
1K
2
Hadoop LZO的安装与配置

Hadoop支持好几种压缩算法,包括: Bzip2 Gzip DEFLATE Hadoop提供这些算法的Java实现,所以可以很方便的通过FileSystem API来进行文件的压缩和解压缩。这些压缩算法都有一个缺陷,那就是文件...

sdzzboy
2013/10/17
863
0
hadoop2.0集群搭建详解

hadoop2.2.0集群搭建 PS:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的, 因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装 hadoop-2.2.0就需要重新在64操作系统上重...

迪allen
2014/03/31
10.7K
11

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
46分钟前
4
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
48分钟前
7
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
50分钟前
4
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
56分钟前
6
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
6
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部