Hadoop2.7.3编译安装
博客专区 > 杰仪 的博客 > 博客详情
Hadoop2.7.3编译安装
杰仪 发表于4个月前
Hadoop2.7.3编译安装
  • 发表于 4个月前
  • 阅读 5
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 新注册用户 域名抢购1元起>>>   

 

#准备3台centos7电脑。并配置无密码登录

1.安装java1.8.144

2.编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

3.安装protobuf

下载protobuf-2.5.0,不能用高版本,否则Hadoop编译不能通过
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

tar xvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure 
make
make install
ldconfig

protoc --version

4.安装maven

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
tar -zxvf apache-maven-3.5.0-bin.tar.gz

vi /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.5.0
export PATH=$PATH:$MAVEN_HOME/bin

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

5.下载hadoop2.7.3,编译

tar -zxvf hadoop-2.7.3-src.tar.gz
mvn package -DskipTests -Pdist,native -Dtar

6.

vi etc/hadoop/core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hbase1:9000</value>
</property>
</configuration>
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/mnt/hadoop/hdfs/name</value>
   	<description></description>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/mnt/hadoop/hdfs/data</value>
	<description></description>
</property>

<property>
	<name>dfs.http.address</name>
	<value>hbase1:50070</value>
	<description>
		The address and the base port where the dfs namenode web ui will listen on.
		If the port is 0 then the server will start on a free port.
	</description>
</property>
   
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>storm1:50090</value>                                 
</property>

</configuration>
vi slaves

格式 namenode

hadoop namenode -format

 

共有 人打赏支持
粉丝 2
博文 37
码字总数 7536
×
杰仪
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: