文档章节

Hadoop2.7.3编译安装

杰仪
 杰仪
发布于 2017/07/29 14:58
字数 311
阅读 10
收藏 0

 

#准备3台centos7电脑。并配置无密码登录

1.安装java1.8.144

2.编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

3.安装protobuf

下载protobuf-2.5.0,不能用高版本,否则Hadoop编译不能通过
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

tar xvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure 
make
make install
ldconfig

protoc --version

4.安装maven

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
tar -zxvf apache-maven-3.5.0-bin.tar.gz

vi /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.5.0
export PATH=$PATH:$MAVEN_HOME/bin

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

5.下载hadoop2.7.3,编译

tar -zxvf hadoop-2.7.3-src.tar.gz
mvn package -DskipTests -Pdist,native -Dtar

6.

vi etc/hadoop/core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hbase1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/mnt/hadoop/hdfs/tmp</value>
</property>
</configuration>
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/mnt/hadoop/hdfs/name,/opt/namenode_bak</value>
   	<description></description>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/mnt/hadoop/hdfs/data</value>
	<description></description>
</property>

<property>
	<name>dfs.http.address</name>
	<value>hbase1:50070</value>
	<description>
		The address and the base port where the dfs namenode web ui will listen on.
		If the port is 0 then the server will start on a free port.
	</description>
</property>
   
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>storm1:50090</value>                                 
</property>

</configuration>
vi slaves

格式 namenode

hadoop namenode -format

 

© 著作权归作者所有

共有 人打赏支持
杰仪
粉丝 1
博文 42
码字总数 8612
作品 0
成都
私信 提问
【Hadoop】最新版本Apache Flume 1.7实践(未完结,待定)

缘起: 既然hadoop用了,然后由于项目目前不是分布式,而是集群环境,导致业务日志每次都需要batch来移,然后再通过hadoop进行分析。 既然如此,不如上一个分布式flume来配合现成的HDFS进行处...

lsttoy
2017/01/09
0
0
002 centos 安装hadoop

安装hadoop 安装jdk 下载jdk*.tar.gz tar开 //习惯放到 /soft 目录下 $>tar -xzvf jdk.tar.gz 创建快捷方式 (以后修改版本重新指定快捷方式就可以,不需要重新配置环境变量 ln -s /soft/jdk-...

lwbldy
2017/11/05
0
0
Hadoop安装(Hadoop2.7.3)

在Ubantu14.04上部署Hadoop2.7.3 伪分布式集群 01.安装Ubantu14.04(过程略) 02.安装JDK1.8 01)下载JDK1.8,将jdk-8u131-linux-x64.tar.gz上传至ubantu中 02)在根目录下创建soft文件夹,并改变...

小马Ha
2017/07/08
0
0
安装Hadoop2.7.3

1.解压并移动到相应目录,我习惯将软件放到/opt目录下,命令如下: tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt 2.修改/etc/profile 3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh...

迟连成
2017/05/10
0
0
hadoop启动后namenode挂掉报错,日志居然提示umilit -a??

centos7 +hadoop2.7.3+服务器1核2G内存 --------------------fen ge xian------------ 实验一直使用root用户进行。 namenode日志如下图:。。。。。 网上一看,说进程数不够??然后后面尝试...

余子Gam
09/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

DataFrames中的reindex用法

from pandas import DataFrame frame = DataFrame(np.arange(9).reshape((3,3)),index=['a','c','d'],columns=['Ohio','Texas','California'] states = ['Texas','Utah','California'] frame......

卖小孩的小火柴
21分钟前
1
0
拜托!面试请不要再问我Spring Cloud底层原理

毫无疑问,Spring Cloud是目前微服务架构领域的翘楚,无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对Spring Cloud功能使用的层面,其底层的很多原理,很多人可能并不知晓。因此本...

James-
21分钟前
1
0
Shiro框架

提供了认证,授权,加密,会话管理等功能 在spring配置文件中配置shiro,需要配置的有shiro的过滤器工厂,在里面我们可以配置什么页面需要认证,什么认证不需要认证,认证成功后跳转的路径,认证失败...

tinder_boy
24分钟前
0
0
有关定时任务的表达式--cron 详细解

Cron表达式是一个字符串,字符串以5或6个空格隔开,分为6或7个域,每一个域代表一个含义,Cron有如下两种语法格式: Seconds Minutes Hours DayofMonth Month DayofWeek Year或 Seconds Minu...

kuchawyz
26分钟前
1
0
下一代大数据处理引擎,阿里云实时计算独享模式重磅发布

11月14日,阿里云重磅发布了实时计算独享模式,即用户独享一部分物理资源,这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立,是实时计算在原有共享模式基础上的重大升级。 (观看...

阿里云云栖社区
27分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部