Hadoop完全分布式配置(测试通过)

原创
2016/09/15 10:22
阅读数 56
集群环境 准备
  IP Namenode SecondaryNamenode DataNode
master 192.168.1.200 1    
slave1 192.168.1.201   1 1
slave2 192.168.1.202     1
slave3 192.168.1.203     1

 

网络配置 hosts 防火墙关闭

#vim /etc/hosts
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
192.168.1.203 slave3

#window hosts文件修改
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
192.168.1.203 slave3

service iptables stop
chkconfig iptables off

时间同步(NN SNN DN 同步时间)

### s1a.time.du.cn 时间同步服务器
ntpdate s1a.time.du.cn

免密钥设置

ssh-keygen -t rsa(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2(master主机上)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave3(master主机上)

###测试访问
ssh slave1

jdk 配置环境变量

#cd /tmp/
#tar xf hadoop-2.5.1_x64.tar.gz
#mv hadoop-2.5.1 /opt/hadoop
#vim /etc/profile 添加(hadoop环境变量所有机器都需要)
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
#source /etc/profile
测试
#echo $JAVA_HOME
#echo $HADOOP_HOME

修改各项配置文件

etc/hadoop/core-site.xml:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-tmp</value>
    </property>
</configuration>
	
etc/hadoop/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave1:50090</value>
    </property>
</configuration>
	
#vim etc/hadoop/masters--手动创建
slave1
	
#vim etc/hadoop/slaves-手动创建
slave1
slave2
slave3

同步配置文件然后格式化

###同步master机器上hadoop所有配置文件(*)
scp -r /opt/hadoop-2.5.1/ root@slave1:/opt/
scp -r /opt/hadoop-2.5.1/ root@slave2:/opt/
scp -r /opt/hadoop-2.5.1/ root@slave3:/opt/

###格式化namenode(master主机上)
hdfs namenode -format

start-dfs.sh
通过浏览器访问:http://192.168.1.200:50070

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部