Hadoop 2.6.4配置详细命令步骤

原创
2017/01/09 23:28
阅读数 78
hadoop集群搭建:

1- 新建一个hadoop用户
【useradd hadoop】
【passwd hadoop】
【也可以不用】


2- 下载hadoop-2.6.4.tar.gz
上传至虚拟机,一台即可
解压【tar -zxvf  hadoop-2.6.4.tar.gz -C apps/】

cd /apps/hadoop-2.6.4

cd etc/

cd hadoop/

pwd
echo $JAVA_HOME

vi hadoop-env.sh
更改export JAVA_HOME=本机配置的JAVA_HOME地址【/root/apps/jdk1.7.0_07】

--------------------------------------------------------------------------

vi core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://mini1:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>

</configuration>


vi hdfs-site.xml
<configuration>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

</configuration>


vi mapred-site.xml.template
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

更改名称
mv mapred-site.xml.template mapred-site.xml


vi yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini1</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>


配置完成

====================================================================

拷贝到其他机器上去

scp -r apps mini2:/root/apps/
scp -r apps mini3:/root/apps/
scp -r apps mini4:/root/apps/
【这里要注意一下目标主机的路径,最好先使用pwd查看一下】


为hdfs做格式化

cd apps/hadoop-2.6.4/
pwd

#sudo vi /etc/profile
或
vi /etc/profile

在文件最后添加
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

sudo scp /etc/profile mini2:/etc/
sudo scp /etc/profile mini3:/etc/
sudo scp /etc/profile mini4:/etc/

source /etc/profile

同时需要为其他节点source
source /etc/profile

hadoop namenode -format


启动

cd apps/hadoop-2.6.4/sbin/
hadoop-daemon.sh start namenode

使用jps命令查看


在浏览器中查看
http://mini1:50070
或者使用ip地址:
http://192.168.45.201:50070


启动其他datanode节点
hadoop-daemon.sh start datanode

关闭datanode节点
hadoop-daemon.sh stop datanode

关闭namenode
hadoop-daemon.sh stop namenode


========================================================================

自动化启动脚本
cd apps/hadoop-2.6.4/etc/hadoop/
vi slaves

mini2
mini3
mini4

在namenode机器上
启动全部
start-dfs.sh
关闭全部
stop-dfs.sh


vi hadoop-env.sh
/root/apps/jdk1.7.0_07

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部