文档章节

centos6.4 32/64位机 hadoop2.2.0集群安装

kt431128
 kt431128
发布于 2014/06/03 11:19
字数 1313
阅读 8570
收藏 187

1、准备环境 

     安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。

  1)安装中文输入法:

       1、需要root权限,所以要用root登录 ,或su root

        2、yum install "@Chinese Support"

   2)安装ssh或者vsftp

       使用chkconfig --list来查看是否装有vsftpd服务;

       使用yum命令直接安装:  yum install vsftpd 

       查看与管理ftp服务:

       启动ftp服务:service vsftpd start

        查看ftp服务状态:service vsftpd status

        重启ftp服务:service vsftpd restart

        关闭ftp服务:service vsftpd stop

    3)jdk安装 

     参考http://my.oschina.net/kt431128/blog/269262

2、修改主机名 

      本人安装一个虚拟机,然后通过虚拟机-》管理-》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。

  [root@slaver2 sysconfig]# vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=slaver

3、配置/ect/hosts,三台服务器的配置一样

vi /etc/hosts

192.168.21.128   master

192.168.21.131   slaver

192.168.21.130   slaver2

4、创建用户(使用root用户创建后来发现Browse the filesystem 报错,后来查文档,建议使用新建的用户)

useradd  hadoop 

passwd hadoop

输入密码,确认

5、ssh无密码登录

参考:http://my.oschina.net/kt431128/blog/269266

6、HADOOP的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[   ] hadoop-2.2.0.tar.gz         07-Oct-2013 14:46  104M 

hadoop环境变量的配置:

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

注:在64位操作系统上需要加入一下红色部分的配置信息

网上看到的另一种解决办法:

在使用./sbin/start-dfs.sh或./sbin/start-all.sh启动时会报出这样如下警告:

Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.

....

Java: ssh: Could not resolve hostname Java: Name or service not known

HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known

64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known

....

这个问题的错误原因会发生在64位的操作系统上,原因是从官方下载的hadoop使用的本地库文件(例如lib/native/libhadoop.so.1.0.0)都是基于32位编译的,运行在64位系统上就会出现上述错误。

解决方法之一是在64位系统上重新编译hadoop,另一种方法是在hadoop-env.sh和yarn-env.sh中添加如下两行: 

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native  

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"  

注:/usr/zkt/hadoop2.2.0/hadoop-2.2.0为自定义的下载hadoop文件的解压路径

7、修改hadoop的配置文件hadoop2.2.0/etc/hadoop

    1、修改hadoop-env.sh 、yarn-env.sh 确保hadoop运行所需要的java环境

    # The java implementation to use.

    export JAVA_HOME=/usr/java/jdk1.7.0_55

    2、修改core-site.xml文件  定义文件系统的配置

<configuration>

 <property>  

    <name>fs.default.name</name>  

        <value>hdfs://master:9000/</value>  

 </property>  

 <property>

         <name>hadoop.tmp.dir</name>

         <value>/usr/zkt/hadoop2.2.0/tmp</value>

  </property>  

 </configuration>

  3、修改hadfs-site.xml  定义名称节点和数据节点

  <configuration>

<property>  

        <name>dfs.datanode.data.dir</name>  

        <value>/usr/zkt/hadoop2.2.0/hdf/data</value>  

        <final>true</final>  

   </property>  

     <property>  

       <name>dfs.namenode.name.dir</name>  

       <value>/usr/zkt/hadoop2.2.0/hdf/name</value>  

       <final>true</final>  

   </property>  

   <property>  

        <name>dfs.replication</name>  

        <value>2</value>  

   </property>

 <property>  

            <name>dfs.permissions</name>  

            <value>false</value>  

    </property> 

</configuration>

4、修改mapred-site.xml   Configurations for MapReduce Applications

   <property>  

        <name>mapreduce.framework.name</name>  

        <value>yarn</value>  

    </property>  

    <property>  

        <name>mapreduce.jobhistory.address</name>  

        <value>master:10020</value>  

    </property>  

  <property>  

        <name>mapreduce.jobhistory.webapp.address</name>  

        <value>master:19888</value>  

    </property>  

  5、修改yarn-site.xml文件    

     该文件主要用于:

     1、Configurations for ResourceManager and NodeManager:

     2、Configurations for ResourceManager:

     3、Configurations for NodeManager:

    4、Configurations for History Server (Needs to be moved elsewhere):

    <property>  

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>  

    </property>  

 <property>  

        <name>yarn.resourcemanager.address</name>  

        <value>master:8032</value>  

    </property>  

    <property>  

        <name>yarn.resourcemanager.scheduler.address</name>  

        <value>master:8030</value>  

    </property>  

    <property>  

        <name>yarn.resourcemanager.resource-tracker.address</name>  

        <value>master:8031</value>  

    </property>  

    <property>  

        <name>yarn.resourcemanager.admin.address</name>  

        <value>master:8033</value>  

    </property>  

      <property>  

        <name>yarn.resourcemanager.webapp.address</name>  

        <value>master:8088</value>  

    </property> 

 

8、创建第7步配置文件中多出的文件夹

   data  tmp  name  log    mkdir -r  /usr/zkt/hadoop2.2.0/hdf/data 等

9、为这些文件夹赋权限 比较关键 不然文件生成的时候无文件创建、写权限

   su - root

  chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看chown命令)

    或者切换到hadoop用户下 通过chmod -R 777 data 赋权限

10、将配置好的hadoop分别拷贝到 slaver 和slaver2主机上

    scp -r  /usr/zkt/hadoop2.2.0/hadoop-2.2.0    hadoop@slaver:/usr/zkt/hadoop2.2.0/

     scp -r  /usr/zkt/hadoop2.2.0/hadoop-2.2.0    hadoop@slaver2:/usr/zkt/hadoop2.2.0/

11、hadoop namenode的初始化

      如果 hadoop环境变量配置没问题直接使用

      hdfs namenode -format 

       hadoop command not found 解决办法:

        echo $PATH 

        发现hadoop的环境变量是:/home/hadoop/bin 而不是我们配置的环境变量,我们需要把hadoop-2.2.0包下的bin、sbin文件夹拷贝到/home/hadoop/下,再次echo $PATH,发现可以了。

12、关闭防火墙  三台服务器的防火墙都需要关闭

查看iptables状态:

service iptables status

iptables开机自动启动: 

开启: chkconfig iptables on
关闭: chkconfig iptables off

iptables关闭服务:

开启: service iptables start
关闭: service iptables stop

13、启动hadoop

   start-all.sh

    关闭hadoop

     stop-all.sh

14、查看启动的节点进程

         jps

15、查看启动后的服务信息

master中应该有ResourceManager服务,slave中应该有nodemanager服务

查看集群状态:./bin/hdfs dfsadmin –report

查看文件块组成:  ./bin/hdfsfsck / -files -blocks

查看各节点状态:    http://master:50070



© 著作权归作者所有

kt431128
粉丝 14
博文 149
码字总数 68823
作品 0
海淀
程序员
私信 提问
加载中

评论(17)

Echo_me
Echo_me
mark,持续关注
kt431128
kt431128 博主

引用来自“dimdim”的评论

发现都是配置安装,有没有介绍应用的

引用来自“neo-chen”的评论

中国社区的特点,就是十年如一日的帖子,如何安装,如何配置,跪求安装、配置。。。。
按照我写的安装没问题,我这边以正常启动运行。
小纯洁
小纯洁
good!
会飞的鸵鸟

引用来自“redhat1520”的评论

start-all.sh这个脚本已经是没有效的。之前打漏字。
这个还是有用的啊。我每次启动都是用这个的。
netkiller-
netkiller-

引用来自“dimdim”的评论

发现都是配置安装,有没有介绍应用的
中国社区的特点,就是十年如一日的帖子,如何安装,如何配置,跪求安装、配置。。。。
萌库

引用来自“redhat1520”的评论

start-all.sh这个脚本已经是没有效的。之前打漏字。
start-all.sh这个脚本依然可以用
kt431128
kt431128 博主

引用来自“redhat1520”的评论

你修改的mapred-site.xml 。。你这里还是1.0的配置方式,2.0是要指定yarn。
嗯,我没仔细看文档,确实变了,不好意思,我改一下。
拉登他哥
拉登他哥
没必要start-all,记得思路就可以了,先启dfs,然后yarn(不一定要启动)
黑帽子
黑帽子
start-all.sh这个脚本已经是没有效的。之前打漏字。
黑帽子
黑帽子
2.2.0启动hadoop,start-all.sh这个脚本已经是没有的。是先执行start-dfs.sh,再执行start-yarn.sh。明显你的博客是误导别人。
oschina的maven仓库是不是不稳定呦

mvn编译64位的hadoop2.2.0怎么老是找不到主机,搞了一天了还是没编译好。。。 哪位大神有编译好的包可以分享?本人环境centos6.4 64位系统

淘淘我的小宝宝
2014/05/09
293
1
Centos6.5集群安装64位hadoop2.2.0

Centos6.5集群安装64位hadoop2.2.0: 网络环境,整3台虚拟机或者物理机,配置好相应网络,编辑/etc/hosts, 如: ssh无密码登录,很简单,每台机器都生成公钥,密钥(事先建立一个统一的hadoo...

ihaolin
2014/01/09
2.4K
2
hadoop2.2.0安装笔记

NameNode 192.168.1.122 hadoop/hadoop VM 192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所......

陶诗德
2014/07/10
227
0
Hadoop2.2.0安装配置手册

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译...

cnxk
2013/12/06
1K
2
CentOS6.4安装Python web开发+生产环境

CentOS6.4安装Python web开发+生产环境 1.概述 centos6.4安装Python, setuptool, pip, virtualenv, mysql, django, libevent, memcache, nginx, git, beyond compare, jdk, eclipse, pydev ......

河北李晓东
2017/07/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

关于谷歌浏览器崩溃,打不开任何界面

首先:谷歌浏览器右键打开属性,在箭头所指的位置复制粘贴 -no-sandbox。(需要空一格再写入 -no-sandbox) 其次:你打开谷歌浏览器可以看到如下提醒,提醒你,稳定性和安全性会有所下降,但...

Raphael98
15分钟前
2
0
java 删除文件夹下的文件

/** * 删除已经下载过的文件 * @param path * @return */ @ApiOperation(value = "删除已经下载过的Excel",httpMethod="",notes="") @GetMapping("/deleteExcel") public Object downLoad(@......

简小姐
15分钟前
3
0
如何安装GMP,MPFR,MPC,ELF,无需共享库?

如何使用当前版本, 使用正确版本的依赖关系,不使用包管理器(如yum,rpm,apt,dpkg)并且不使用共享库,来逐块安装GCC(GNU编译器集合)? 典型的开发人员可能希望以典型的方式安装GCC,使...

mskk
19分钟前
2
0
Rancher + VMware PKS实现全球数百站点的边缘K8S集群管理

Sovereign Systems是一家成立于2007年的技术咨询公司,帮助客户将传统数据中心技术和应用程序转换为更高效的、基于云的技术平台,以更好地应对业务挑战。曾连续3年提名CRN,并且在2012年到2...

RancherLabs
24分钟前
2
0
docker修改log-driver后启动失败问题解决

vi /etc/sysconfig/docker 去掉--log-driver=journald 重启docker,重新run一个容器

abowu
26分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部