hadoop linux环境搭建

原创
2017/05/27 18:17
阅读数 16

1. 下载jdk包

   wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

   到/usr/local/jdk并解压

2. 配置jdk

  • vi /etc/profile
  • 添加如下配置并保存

#添加如下内容:JAVA_HOME根据实际目录来
JAVA_HOME=/usr/local/jdk/jdk1.8.0_131(按照实际的版本配置目录)
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

  • source /etc/profile #使配置生效

3. 测试jdk是否安装成功

    java -version

4. 下载hadoop包

 wget http://hadoop.apache.org/releases.html 到/usr/local并解压

5. 配置hadoop环境

  • 修改解压后的文件夹为hadoop
  • vi /etc/profile
  • 添加如下配置并保存

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

  • source /etc/profile #使配置生效
  • vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh#修改hadoop配置的java_home目录
  • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131

6.配置hadoop集群

  • cd /usr/local/hadoop/etc/hadoop
  • vi core-site.xml #指定namenode的地址及hadoop产生文件的存放目录

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>

  • cp mapred-site.xml.template mapred-site.xml
  • vi mapred-site.xml #告诉hadoop以后MR运行在YARN上

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

  • vi yarn-site.xml #nomenodeManager获取数据的方式是shuffle

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>shuffle service that needs to be set for map reduce to run</description>
       </property>

7. 初始化hadoop

  • cd /usr/local/hadoop/bin
  • hdfs namenode -format

8. 启动hadoop

    cd /usr/local/hadoop/sbin

    start-dfs.sh

    start-yarn.sh

9. 测试hadoop

  • 运行命令jps 查看是否成功
  • http://192.168.80.129:50070/ #测试NameNode页面是否能打开
  • http://192.168.80.129:8088/ #测试ResourceManager页面是否能打开
  • http://192.168.80.129:19888/ #其中19888端口要启动JobHistoryServer进程,
    ./sbin/mr-jobhistory-daemon.sh start historyserver
    测试MapReduce JobHistory Server页面是否能打开

    

 

 

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部