文档章节

CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装

OSC首席酱油党
 OSC首席酱油党
发布于 2014/09/15 12:06
字数 1266
阅读 5.1K
收藏 9

1.系统环境说明

CentOS 7.0 x64 版本

192.168.1.7 master
192.168.1.8 slave
192.168.1.9 slave
192.168.1.10 slave

2.安装前的准备工作

2.1 关闭防火墙

# systemctl status firewalld.service  --查看防火墙状态
# systemctl stop firewalld.service    --关闭防火墙
# systemctl disable firewalld.service --永久关闭防火墙

2.2 检查ssh安装情况,如果没有则安装ssh

# systemctl status sshd.service  --查看ssh状态
# yum install openssh-server openssh-clients

2.3 安装vim

# yum -y install vim

2.4 设置静态ip地址

# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

BOOTPROTO="static"
ONBOOT="yes"
IPADDR0="192.168.1.7"
PREFIX0="255.255.255.0"
GATEWAY0="192.168.1.1"
DNS1="61.147.37.1"
DNS2="101.226.4.6"

2.5 修改host名称

# vim /etc/sysconfig/network

HOSTNAME=master

# vim /etc/hosts

192.168.1.7   master
192.168.1.8   slave1
192.168.1.9   slave2
192.168.1.10  slave3
# hostnamectl set-hostname master    (CentOS7 下原有的修改host方法无效了)

2.6 创建hadoop用户

# useradd hadoop --创建用户名为hadoop的用户# passwd hadoop  --为用户hadoop设置密码

2.7 配置ssh无密钥登录

-----------下面是在master上面的操作

# su hadoop --切换到hadoop用户$ cd ~      --打开用户文件夹
$ ssh-keygen -t rsa -P '' --生成密码对,/home/hadoop/.ssh/id_rsa和/home/hadoop/.ssh/id_rsa.pub
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys        --把id_rsa.pub追加到授权的key里面去
$ chmod 600 ~/.ssh/authorized_keys        --修改权限
$ su  --切换到root用户# vim /etc/ssh/sshd_config   --修改ssh配置文件
 RSAAuthentication yes #启用RSA认证
 PubkeyAuthentication yes #启用公钥私钥配对认证方式
 AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径
# su hadoop --切换到hadoop用户
$ scp ~/.ssh/id_rsa.pub hadoop@192.168.1.8:~/                --把公钥复制所有的Slave机器上

----------下面是在slave1上面的操作

 # su hadoop --切换到hadoop用户
 $ mkdir ~/.ssh
 $ chmod 700 ~/.ssh
 $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys                --追加到授权文件"authorized_keys"
 $ chmod 600 ~/.ssh/authorized_keys                          --修改权限
 $ su --切换回root用户 # vim /etc/ssh/sshd_config   --修改ssh配置文件
  RSAAuthentication yes #启用RSA认证
  PubkeyAuthentication yes #启用公钥私钥配对认证方式
  AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径

3.安装必须的软件

3.1 安装JDK

# rpm -ivh jdk-7u67-linux-x64.rpm

Preparing...

  ##################################### [100%]

1:jdk

  ##################################### [100%]

Unpacking JAR files...
rt.jar...
jsse.jar...
charsets.jar...
tools.jar...
localedata.jar...

# vim /etc/profile
 export JAVA_HOME=/usr/java/jdk1.7.0_67 
 export PATH=$PATH:$JAVA_HOME/bin
# source profile --修改生效

3.2 安装其他必须软件

# yum install maven svn ncurses-devel gcc* lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

3.3 安装ant

# tar zxvf apache-ant-1.9.4-bin.tar.gz# vim /etc/profile
 export ANT_HOME=/usr/local/apache-ant-1.9.4
 export PATH=$PATH:$ANT_HOME/bin

3.4 安装findbugs

# tar zxvf findbugs-3.0.0.tar.gz# vim /etc/profile
 export FINDBUGS_HOME=/usr/local/findbugs-3.0.0
 export PATH=$PATH:$FINDBUGS_HOME/bin

3.5 安装protobuf

# tar zxvf protobuf-2.5.0.tar.gz(必须是2.5.0版本的,不然编译hadoop的时候报错)
# cd protobuf-2.5.0
# ./configure --prefix=/usr/local
# make && make install

4. 编译hadoop源码

# tar zxvf hadoop-2.5.0-src.tar.gz
# cd hadoop-2.5.0-src
# mvn package -Pdist,native,docs -DskipTests -Dtar

4.1 maven中央仓库的配置(改成oschina,增加访问速度)

# vim /usr/share/mavem/conf/settings.xml<mirrors>
    <mirror>
        <id>nexus-osc</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus osc</name>
        <url>http://maven.oschina.net/content/groups/public/</url>
    </mirror></mirrors><profiles>
    <profile>
    <id>jdk17</id>
    <activation>
        <activeByDefault>true</activeByDefault>
        <jdk>1.7</jdk>
    </activation>
    <properties>
        <maven.compiler.source>1.7</maven.compiler.source>
        <maven.compiler.target>1.7</maven.compiler.target>
        <maven.compiler.compilerVersion>1.7</maven.compiler.compilerVersion>
    </properties>    
        <repositories>
           <repository>
                <id>nexus</id>
                <name>local private nexus</name>
                <url>http://maven.oschina.net/content/groups/public/</url>
                <releases>
                    <enabled>true</enabled>
                </releases>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
            </repository>
         </repositories>
        <pluginRepositories>
            <pluginRepository>
                <id>nexus</id>
                <name>local private nexus</name>
                <url>http://maven.oschina.net/content/groups/public/</url>
                <releases>
                    <enabled>true</enabled>
                </releases>
                <snapshots>
                    <enabled>false</enabled>
                </snapshots>
            </pluginRepository>
         </pluginRepositories>
    </profile></profiles>

4.2 编译完成之后,目录/usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0

# ./bin/hadoop versionHadoop 2.5.0Subversion Unknown -r Unknown
Compiled by root on 2014-09-12T00:47Z
Compiled with protoc 2.5.0From source with checksum 423dcd5a752eddd8e45ead6fd5ff9a24
This command was run using /usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0/share/hadoop/common/hadoop-common-2.5.0.jar
# file lib//native/*lib//native/libhadoop.a:        
current ar archivelib//native/libhadooppipes.a:   
current ar archivelib//native/libhadoop.so:       
symbolic link to `libhadoop.so.1.0.0'lib//native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x972b31264a1ce87a12cfbcc331c8355e32d0e774, not strippedlib//native/libhadooputils.a:   
current ar archivelib//native/libhdfs.a:          
current ar archivelib//native/libhdfs.so:         
symbolic link to `libhdfs.so.0.0.0'lib//native/libhdfs.so.0.0.0:   ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x200ccf97f44d838239db3347ad5ade435b472cfa, not stripped

5. 配置hadoop

5.1 基础操作

# cp -r /usr/hadoop-2.5.0-src/hadoop-dist/target/hadoop-2.5.0 /opt/hadoop-2.5.0
# chown -R hadoop:hadoop /opt/hadoop-2.5.0
# vi /etc/profile
 export HADOOP_HOME=/opt/hadoop-2.5.0
 export PATH=$PATH:$HADOOP_HOME/bin
# su hadoop
$ cd /opt/hadoop-2.5.0
$ mkdir -p dfs/name
$ mkdir -p dfs/data
$ mkdir -p tmp
$ cd etc/hadoop

5.2 配置所有slave节点

$ vim slaves
slave1
slave2
slave3

5.3 修改hadoop-env.sh和yarn-env.sh

$ vim hadoop-env.sh / vim yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_67

5.4 修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop-2.5.0/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value></value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>
</value>
</property>
</configuration>

5.5 修改hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.5.0/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.5.0/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

5.6 修改mapred-site.xml

# cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

5.7 配置yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>768</value>
</property>
</configuration>

5.8 格式化namenode

$ ./bin/hdfs namenode -format

5.9 启动hdfs

$ ./sbin/start-dfs.sh
$ ./sbin/start-yarn.sh

5.10 检查启动情况

http://192.168.1.7:8088http://192.168.1.7:50070


参考 http://www.it165.net/admin/html/201403/2453.html

Hadoop- - 2.2.0 4 64  位源码编译及分布式安装.pdf


© 著作权归作者所有

OSC首席酱油党
粉丝 8
博文 6
码字总数 2907
作品 0
徐汇
高级程序员
私信 提问
CentOS7编译Hadoop-2.7.2详解

先说明,32位Linux操作系统可以直接下载编译好的Hadoop使用,但是64位Linux操作系统需要自己编译。 后来官网从hadoop2.5版本开始就提供了64位。可以直接下载使用。 不过自己动手,丰衣足食,...

pmos
2016/04/21
318
0
CentOS7下编译Hadoop-2.7.3全过程详解

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件...

楠木楠
2016/08/28
203
0
CentOS7中编译Hadoop2.x

环境 VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1 1、关于Hadoop本地库 1.1、可能存在的问题 Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本,自带的本地...

悟空太多啦
2015/08/03
732
0
编译Hadoop-64 bit

Hadoop源码版本:2.5.2 名称 版本 JDK 1.7u75(64bit) Maven 3.3.1 Protobuf 2.5.0 autoconfautomake yum自动选择 libtool yum自动选择 cmake yum自动选择 openssl-devel yum自动选择 ncurse......

ifree613
2016/03/04
46
0
WARN util.NativeCodeLoader: 编译hadoop2.5

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable put: `./in': No such file or directory 原因查找......

天下杰论
2014/08/25
238
0

没有更多内容

加载失败,请刷新页面

加载更多

MBTI助你成功,让你更了解你自己

MBTI助你成功,让你更了解你自己 生活总是一个七日接着又一个七日,相信看过第七日的小伙伴,很熟悉这段开场白,人生是一个测试接着又一个测试,上学的时候测试,是为了证明你的智力,可谓从...

蛤蟆丸子
今天
55
0
Android实现App版本自动更新

现在很多的App中都会有一个检查版本的功能。例如斗鱼TV App的设置界面下: 当我们点击检查更新的时候,就会向服务器发起版本检测的请求。一般的处理方式是:服务器返回的App版本与当前手机安...

shzwork
昨天
63
0
npm 发布webpack插件 webpack-html-cdn-plugin

初始化一个项目 npm init 切换到npm源 淘宝 npm config set registry https://registry.npm.taobao.org npm npm config set registry http://registry.npmjs.org 登录 npm login 登录状态......

阿豪boy
昨天
87
0
java基础(16)递归

一.说明 递归:方法内调用自己 public static void run1(){ //递归 run1(); } 二.入门: 三.执行流程: 四.无限循环:经常用 无限递归不要轻易使用,无限递归的终点是:栈内存溢出错误 五.递...

煌sir
昨天
63
0
REST接口设计规范总结

URI格式规范 URI中尽量使用连字符”-“代替下划线”_”的使用 URI中统一使用小写字母 URI中不要包含文件(脚本)的扩展名 URI命名规范 文档(Document)类型的资源用名词(短语)单数命名 集合(Co...

Treize
昨天
69
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部