Hadoop 2.7.3安装与配置

原创
2017/07/04 14:42
阅读数 240

1.JDK1.8.0_101的安装与配置 (1)下载后在centos6.5中解压路径为/usr/jdk1.8.0_101

(2)将Java添加到环境变量中

vi /etc/profile 添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101 export HADOOP_HOME=/usr/Hadoop/hadoop-2.7.3 export JAVA_BIN=$JAVA_HOME/bin export JAVA_LIB=$JAVA_HOME/lib export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin (4) #刷新配置 source /etc/profile

2.hadoop的相关配置 (1)下载后解压路径为/usr/hadoop/hadoop-2.7.3

(2)配置hadoop

  第一个:hadoop-env.sh

vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/jdk1.8.0_101

第二个:core-site.xml

<!-- 制定HDFS的老大(NameNode)的地址 -->

<property> <name>fs.defaultFS</name> <value>hdfs://cky171:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/tmp</value> </property>

第三个:hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property> <name>dfs.replication</name> <value>1</value> </property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

第五个:yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property> <name>yarn.resourcemanager.hostname</name> <value>centos01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

(4)配置hadoop的环境变量

vi /etc/profile 添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101 export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 #export HADOOP_HOME=/centos01/hadoop-2.4.1 export JAVA_BIN=$JAVA_HOME/bin export JAVA_LIB=$JAVA_HOME/lib export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar #export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native expor tPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行指令 source /etc/profile (5)格式化namenode(是对namenode进行初始化) hdfs namenode -format (hadoop namenode -format)

(6)安装完成后的验证

执行命令start-all.sh

[root@centos01 ~]# jps 3093 ResourceManager 3191 NodeManager 2939 SecondaryNameNode 2366 NameNode 5519 Jps

表示安装成功

打开网页http://192.168.6.171:8088/cluster可以正常查看

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部