文档章节

CentOS6.5安装Hadoop2.7.1

Johnny_feng
 Johnny_feng
发布于 2015/11/16 14:09
字数 1306
阅读 882
收藏 3

一、软件准备

下载Hadoop  http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

下载JDK http://download.oracle.com/otn-pub/java/jdk/8u66-b17/jdk-8u66-linux-x64.tar.gz


二、服务器准备(三台服务器,最好4台)

最好4台服务器,1台namenode,3台datanode(hadoop默认副本数为3),如果空余的话可以加一个secondnode(namenode的备用节点,据说已经通过zookper实现了热备,这个有待考证。)

准备三台服务器:

    角色                              IP               主机名

    Namenode     192.168.63.227     NameNode

    Datanode       192.168.63.202          node1

    Datanode        192.168.63.203         node2

三、服务器环境准备(每台服务器都执行)

1、每台机器都同步时间

 ntpdate time.windows.com

2、每台机器都关闭iptables、关闭selinux    

service iptables stop;chkconfig iptables off
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux; setenforce 0

3、每台服务器都修改/etc/hosts文件

    增加如下内容:

192.168.63.227     NameNode
192.168.63.202     node1
192.168.63.203     node2

4、每台服务器增加一个运行hadoop的用户(可选,测试环境可用root用户启动)

    

useradd hduser && echo "123456" | passwd --stdin hduser

5、每台服务器都配置java环境(这里用的是jdk-8.66,需jdk7以上)

tar xf jdk-8u66-linux-x64.tar.gz -C /usr/local/
vim /etc/profile.d/java.sh

        输入:            

JAVA_HOME=/usr/local/jdk1.8.0_66
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
执行:
source /etc/profile.d/java.sh


    执行:java -version 查看java版本是否已经变成最新的。

6、每台服务器都配置Hadoop环境(这里使用的是Hadoop2.7.1,先不用安装Hadoop。)

   

vim /etc/profile.d/hadoop.sh

输入:            

HADOOP_HOME=/usr/local/hadoop
PATH=$HADOOP_HOME/bin:$PATH
PATH=$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH
执行:
source /etc/profile.d/hadoop.sh


四、配置NameNode到其他节点ssh免密登陆

    如果是非root用户启动Hadoop,这里配置指定用户的ssh免密登陆(例如上面增加了用户hduser,这里要配置hduser的免密登陆,需要先su - hduser)

ssh-keygen -t rsa -P ''(一路回车,不要输入密码)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@namenode(这里要特别注意,也要配置到本机的ssh免密登陆)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node2


五、配置Hadoop(在NameNode服务器上进行操作)

1、安装Hadoop

tar xf hadoop-2.7.1.tar.gz -C /usr/local/
ln -sv /usr/local/hadoop-2.7.1 /usr/local/hadoop
(如果以非root用户启动Hadoop,执行:chown -R hduser. /usr/local/hadoop-2.7.1/)


2、配置Hadoop

    创建目录:

cd /usr/local/hadoop
mkdir tmp && mkdir -p hdfs/data && mkdir -p hdfs/name

    修改配置文件:      

cd /usr/local/hadoop
vim etc/hadoop/core-site.xml

        在<configuration>中间插入:

<property>
<name>fs.defaultFS</name>
<value>hdfs://NameNode:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///usr/local/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>


vim etc/hadoop/hdfs-site.xml

        在<configuration>中间插入:

<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>


        

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

        在<configuration>中间插入:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
      <name>mapreduce.jobtracker.http.address</name>
      <value>NameNode:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>NameNode:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>NameNode:19888</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://NameNode:9001</value>
</property>

        

vim etc/hadoop/yarn-site.xml

        在<configuration>中间插入:

<property>
<name>yarn.resourcemanager.hostname</name>
<value>NameNode</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>NameNode:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>NameNode:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>NameNode:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>NameNode:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>NameNode:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>


    修改etc/hadoop/slaves   

        删除localhost,把所有的datanode添加到这个文件中。

        增加:

            node1

            node2

六、复制haoop到其他节点

将NameNode服务器上的hadoop整个copy到另外2个节点上(NameNode节点执行)

scp -r hadoop-2.7.1 root@node1:/usr/local/
scp -r hadoop-2.7.1 root@node2:/usr/local/

在所有节点上执行:

 ln -sv /usr/local/hadoop-2.7.1 /usr/local/hadoop


七、格式化(namenode节点执行)

cd /usr/local/hadoop

#格式化namenode

hdfs namenode -format

 

八、启动Hadoop(namenode节点执行)

登陆到NameNode节点: 执行:start-all.sh(之前已经配置过hadoop的环境变量了,所以直接执行就可以。)

如果是非root用户启动,需要su - hduser,然后再执行 start-all.sh

停止:stop-all.sh

九、验证

在所有节点上执行:

    hadoop dfsadmin -report

出现类似下图结果:

[root@node1 ~]# hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

15/11/13 22:39:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Configured Capacity: 37139136512 (34.59 GB)
Present Capacity: 27834056704 (25.92 GB)
DFS Remaining: 27833999360 (25.92 GB)
DFS Used: 57344 (56 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (2):

Name: 192.168.63.202:50010 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 18569568256 (17.29 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 4652568576 (4.33 GB)
DFS Remaining: 13916971008 (12.96 GB)
DFS Used%: 0.00%
DFS Remaining%: 74.95%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Nov 13 22:39:28 CST 2015


Name: 192.168.63.203:50010 (node2)
Hostname: node2
Decommission Status : Normal
Configured Capacity: 18569568256 (17.29 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 4652511232 (4.33 GB)
DFS Remaining: 13917028352 (12.96 GB)
DFS Used%: 0.00%
DFS Remaining%: 74.95%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Nov 13 22:39:27 CST 2015

在namenode节点上执行命令:jps

[root@NameNode ~]# jps
7187 Jps
3493 NameNode
3991 SecondaryNameNode
4136 ResourceManager

在datanode节点上执行jps

[root@node1 ~]# jps
2801 NodeManager
3970 Jps
2698 DataNode

访问hadoop的web页面:

    http://namenode:8088
    http://namenode:50070


© 著作权归作者所有

共有 人打赏支持
Johnny_feng
粉丝 31
博文 52
码字总数 21459
作品 0
西城
部门经理
私信 提问
centos搭建hadoop2

第二篇隔了这么久,一个是因为有工作任务,第二个也是因为为了编译64位的hadoop2.7.1耽误了。到现在也不确定64位系统到底需不需要自己编译hadoop2,反正我编译了才安装成功的。 首先:先介绍...

任杰LL
2016/04/19
63
0
windows系统通过eclipse远程MapReduce服务器

windows中安装hadoop 将hadoop-2.7.1.tar.gz文件解压到windows硬盘中(如:C:Program Fileshadoop-2.7.1)。 将hadoop2.7.1winbin文件夹中hadoop.dll和winutils.exe复制到上述安装目录的bin...

psp0001060
2017/08/09
0
0
一次bug死磕经历之Hbase堆内存小导致regionserver频繁挂掉

环境如下: Centos6.5 Apache Hadoop2.7.1 Apache Hbase0.98.12 Apache Zookeeper3.4.6 JDK1.7 Ant1.9.5 Maven3.0.5 最近在测Hbase的压缩,Hadoop安装了lzo和snappy,插入50条文本数据,每条......

九劫散仙
2016/01/06
637
0
Linux下安装Hadoop(2.7.1)详解及WordCount运行

一、引言   在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于...

oO维尼熊Oo
05/03
0
0
CentOS6.5 64bit如何安装DNS服务dnsmasq加速网站访问

CentOS6.5 64bit如何安装DNS服务dnsmasq加速网站访问 技术奇客|ITGeeker2017-02-2037 阅读 DNS dnsmasq是个非常小巧的dns服务器,可以解决小范围的dns查询问题,建议内网终端不要超过50台主机...

技术奇客|ITGeeker
2017/02/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

我是如何将博客转成PDF的

前言 只有光头才能变强 之前有读者问过我:“3y你的博客有没有电子版的呀?我想要份电子版的”。我说:“没有啊,我没有弄过电子版的,我这边有个文章导航页面,你可以去文章导航去找来看呀”...

Java3y
7分钟前
0
0
nginx的一些总结

Linux下安装Nginx完整教程及常见错误解决方案 1.Nginx安装环境 Nginx是C语言开发,建议在linux上运行,本教程使用Centos7.0作为安装环境. 1)gcc 安装nginx需要先将官网下载的源码进行编译,编译...

Yao--靠自己
14分钟前
0
0
Predicate函数式接口

Predicate接口主要用于流的筛选,比如在filter方法中传入Predicate判断。 作为函数式接口,这里居然有三个default方法,一个static方法,子孙满堂! 正统的接口方法,就是boolean test(T t)...

woshixin
15分钟前
0
0
sql 开窗函数

开窗函数:在开窗函数出现之前存在着很多用 SQL 语句很难解决的问题,很多都要通过复杂的相关子查询或者存储过程来完成。为了解决这些问题,在 2003 年 ISO SQL 标准加入了开窗函数,开窗函数...

hblt-j
25分钟前
1
0
使用Vue动态生成form表单的实例代码

具有数据收集、校验和提交功能的表单生成器,包含复选框、单选框、输入框、下拉选择框等元素以及,省市区三级联动,时间选择,日期选择,颜色选择,文件/图片上传功能,支持事件扩展。 欢迎大家s...

嫣然丫丫丫
32分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部