文档章节

hadoop2.2.0安装笔记

陶诗德
 陶诗德
发布于 2014/07/10 08:53
字数 963
阅读 227
收藏 16

NameNode 192.168.1.122  hadoop/hadoop


VM  192.168.1.123 

DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop

DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop


一、在所有机器上安装openssh-server

sudo apt-get install openssh-server

如果没有找到openssh-server,请先执行sudo apt-get update更新

安装完openssh-server之后,就可以使用ssh和xftp进行远程登录与上传文件了

二、增加hadoop相关用户与用户组

sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop

给hadoop用户添加权限,打开/etc/sudoers文件

sudo vim /etc/sudoers

增加

hadoop ALL=(ALL:ALL) ALL

三、配置网络映射

vim /etc/hosts

加入

192.168.1.122 NameNode1
192.168.1.124 DataNode1
192.168.1.125 DataNode2

重启网络,

sudo /etc/init.d/networking restart


相应的在各个节点中都加入这个映射配置

四、安装JDK环境

下载jdk-7u60-linux-i586.tar.gz

解压,并把解压后的文件夹移动到/use/java下 

tar -xzf jdk-7-linux-i586.tar.gz

mv JDK文夹 目标地址

打开/etc/profile增加如下脚本

export JAVA_HOME=/usr/java/jdk1.7.0_60
export JRE_HOME=/usr/java/jdk1.7.0_60/jre
export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/lib/native:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

使新的配置立即生效 source /etc/profile

如果出现找不到目录之内的,可以先查看路径是否正确,如果是62位系统,而当前安装的是32位的JDK,需安装32位的运行库

sudo apt-get install ia32-libs

五、配置ssh免验证登录

切换到hadoop用户

进入/home/hadoop/.ssh目录(如果没有,新建之)

ssh-keygen -t rsa

之后一路回车(产生秘钥)

在所有的NodeData中也执行ssh-keygen -t rsa,把生成的.pub文件拷到NameNode1上

scp  ~/.ssh/id_rsa.pub hadoop@namenode1:~/.ssh/datanode1.pub

在NameNode服务器把所有服务器的公钥加入到用于认证的公钥文件:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/datanode1.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/datanode2.pub >> ~/.ssh/authorized_keys

对authorized_keys进行授权

chmod 600 ~/.ssh/authorized_keys

再将NameNode的授权文件authorized_keys复制到到其他的机器上:

scp authorized_keys hadoop@datanode1:~/.ssh/

注意:此处需要设置.ssh目录为700权限 .ssh/下所有文件为600权限

六、安装hadoop

下载hadoop2.2.0 并解压到/home/hadoop/用户的目录下

tar -xzf hadoop-2.2.0.tar.gz

进入hadoop2.2.0目录,新建tmp目录 mkdir tmp

七、配置hadoop

进入namenode1的hadoop2.2.0目录,修改hadoop-env.sh与yarn-env.sh文件

cd /home/hadoop/hadoop-2.2.0/etc/hadoop

vim hadoop-env.sh,修改

export JAVA_HOME = ${JAVA_HOME}


export JAVA_HOME=/usr/java/jdk1.7.0_60

在同一路径下找 core-site.xml,修改它在 < configuration >中添加:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode1:9000/</value>
        <description></description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.2.0/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
</configuration>

同一路径下修改 mapred-site.xml因为缺省是没有这个文件的,要用模板文件造一个,命令为:

mv mapred-site.xml.template mapred-site.xml 

vim mapred-site.xml加入

<configuration>
 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
    </property>
</configuration>

~                        

同一路径下修改 hdfs-site.xml, 在 < configuration >中添加:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop-2.2.0/dfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop-2.2.0/dfs/data</value>
    </property>
</configuration>


配置文件yarn-site.xml内容

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>namenode1</value>
    </property>
</configuration>


在主节点namenode1上将上面配置好的程序文件,复制分发到各个从节点上:

scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode1:/home/hadoop/
scp -r /home/hadoop/hadoop-2.2.0 hadoop@datanode2:/home/hadoop/


八、启动HDFS集群


经过上面配置以后,可以启动HDFS集群。

为了保证集群启动过程中不会出现问题,需要手动关闭每个节点上的防火墙,执行如下命令:

sudo service iptables stop

或者永久关闭防火墙:

sudo chkconfig iptables off
sudo chkconfig ip6tables off


在主节点namenode1上,首先进行文件系统格式化操作,执行如下命令:

hadoop namenode -format

然后,可以启动HDFS集群,执行如下命令:

start-all.sh

在node1(node2)上面运行jps,如果有DataNode、NodeManager二个进程,说明node1(node2)安装好了。


© 著作权归作者所有

陶诗德
粉丝 8
博文 21
码字总数 5774
作品 0
合肥
程序员
私信 提问
centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装...

kt431128
2014/06/03
8.6K
17
centos 编译hadoop 出错 Apache Hadoop Pipes ----- failure

编译hadoop2.2.0和hadoop2.3.0的时候,都会出现如下错误,根据网上提供的方法,安装了需要的包,但是还是报错,望大侠能够帮忙解决下,谢谢。

lqd书山有路
2015/04/14
144
0
hadoop2.2.0速度很慢的问题

安装了最新的hadoop2.2.0版本,三台机器。 感觉运行速度很慢,执行一个ls命令要好几秒钟时间。运行例子中的wordcount,花了几十秒钟。 请大神看下log,是不是哪里有问题的,还是hadoop运行就...

1178330318
2013/12/05
5.3K
3
Hadoop运行WordCount报错

本人菜鸟一枚,最近因为工作需要,研究hadoop,安装完毕,但是照着网上的WordCount例子运行报错,环境是windows下myeclipse连接服务器开发,hadoop2.2.0,具体错误信息和http://bbs.csdn.net...

MeYJ
2014/03/13
351
2
64位linux下支持lzo的Hadoop 2.2.0分布式集群配置细节摘要

初学者搭建Hadoop环境容易陷入细节漩涡中,并不是说细节不重要,在程序世界中,细节恰恰是决定成败的关键。然而,如果能在深入细节之前对整体有全面、逻辑性的认识,那么遇到细节时也能准确定...

Iuranus
2014/06/16
266
0

没有更多内容

加载失败,请刷新页面

加载更多

关于PHP处理Json数据的例子

本文转载于:专业的前端网站➜关于PHP处理Json数据的例子 最近工作需要在原来静态看板(大屏)页面的基础上,实现数据的动态展示,而且需要定时刷新。 接到任务后就马不停蹄的开始修改页面: ...

前端老手
6分钟前
0
0
Archiva 不小心删掉了管理员权限怎么办

Archiva 的界面和 UI 比较容易出问题。 在添加用户和为用户进行权限修改的时候,不小心连 admin 这个用户的权限都删掉了。 这个时候应该如何恢复 admin 这个用户的权限? 这个时候你可以尝试...

honeymoose
今天
7
0
Java8新特性之空指针异常的克星Optional类

Java8新特性系列我们已经介绍了Stream、Lambda表达式、DateTime日期时间处理,最后以“NullPointerException” 的克星Optional类的讲解来收尾。 背景 作为开发人员每天与NullPointerExceptio...

程序新视界
今天
5
0
OSChina 周四乱弹 —— 福布斯终身秃头奖

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享如是我闻的单曲《地藏经上卷》: 如是我闻#今日歌曲推荐# 《地藏经上卷》- 如是我闻 手机党少年们想听歌,请使劲儿戳(这里) ...

小小编辑
今天
555
11
Mybatis Plus删除

/** @author beth @data 2019-10-17 00:30 */ @RunWith(SpringRunner.class) @SpringBootTest public class DeleteTest { @Autowired private UserInfoMapper userInfoMapper; /** 根据id删除......

一个yuanbeth
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部