文档章节

Zookeeper 三台主机 Ha集群的搭建

o
 osc_fmg49rzg
发布于 2019/03/20 10:04
字数 1992
阅读 4
收藏 0

精选30+云产品,助力企业轻松上云!>>>

前期准备
1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系 /etc/hosts

######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机、阿里云主机等)
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙

5.ssh免登陆

6.安装JDK,配置环境变量等

 

集群规划:


server01
namenode(active)
zkfc
nodemanager
datanode
zookeeper
journal node



server02
namenode(standby)
resourcemanager(active)
zkfc
nodemanager
datanode
zookeeper
journal node



server03
resourcemanager(standby)
datanode
nodemanager
zookeeper
journal node




说明:
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。

Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。

 

hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。

在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。

通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了

会自动切换Standby NameNode为standby状态

 

2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,

hadoop-2.7.2解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调

 

安装步骤:
1.安装配置zooekeeper集群(在hadoop-001上)
1.1解压


tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/bigdatasoftware/



1.2修改配置


cd /home/hadoop/bigdatasoftware/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg



修改:dataDir=/home/hadoop/bigdatasoftware/zookeeper-3.4.5/zkdata



在最后添加:


server.1=hadoop-001:2888:3888
server.2=hadoop-002:2888:3888
server.3=hadoop-003:2888:3888



保存退出
然后创建一个tmp文件夹


mkdir /home/hadoop/bigdatasoftware/zookeeper-3.4.5/zkdata
echo 1 > /home/hadoop/bigdatasoftware/zookeeper-3.4.5/zkdata/myid



1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop-002、hadoop-001根目录下创建一个hadoop目录:mkdir /bigdatasoftware)


scp -r /home/hadoop/bigdatasoftware/zookeeper-3.4.5/ hadoop-002:/home/hadoop/bigdatasoftware/
scp -r /home/hadoop/bigdatasoftware/zookeeper-3.4.5/ hadoop-003:/home/hadoop/bigdatasoftware/




注意:修改hadoop-002、hadoop-003对应/hadoop/zookeeper-3.4.5/zkdata/myid内容


hadoop-002
echo 2 > /home/hadoop/bigdatasoftware/zookeeper-3.4.5/zkdata/myid
hadoop-003
echo 3 > /home/hadoop/bigdatasoftware/zookeeper-3.4.5/zkdata/myid




2.安装配置hadoop集群(在hadoop-001上操作)
2.1解压


tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/bigdatasoftware/



2.2配置HDFS(hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下)
#将hadoop添加到环境变量中


vim /etc/profile
export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161
export HADOOP_HOME=/home/hadoop/bigdatasoftware/hadoop-2.7.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin




#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下


cd /home/hadoop/bigdatasoftware/hadoop-2.7.2/etc/hadoop




2.2.1修改hadoo-env.sh


export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161


 

###############################################################################

2.2.2
修改core-site.xml

<configuration>
<!--
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-001:2181,hadoop-002:2181,hadoop-003:2181</value>
</property> -->
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bi/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop-001:2181,hadoop-002:2181,hadoop-003:2181</value>
</property>
</configuration>

###############################################################################

2.2.3修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>


<!-- cmeservice为bi,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>bi</value>
</property>
<!-- bi下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.bi</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bi.nn1</name>
<value>hadoop-001:9000</value>

</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bi.nn1</name>
<value>hadoop-001:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bi.nn2</name>
<value>hadoop-002:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bi.nn2</name>
<value>hadoop-002:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop-001:8485;hadoop-002:8485;hadoop-003:8485/bi</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.bi</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>


</configuration>

###############################################################################

2.2.4修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

###############################################################################

2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop-002</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop-003</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop-001:2181,hadoop-002:2181,hadoop-003:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>


2.2.6修改slaves(slaves是指定子节点的位置,因为要在hadoop-001上启动HDFS、在hadoop-002启动yarn,所以hadoop-001上的slaves文件指定的是datanode的位置,hadoop-002上的slaves文件指定的是nodemanager的位置)

2.2.7配置免密码登陆


#首先要配置hadoop-001到hadoop-003、hadoop-003的免密码登陆
#在hadoop-001上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点,包括自己
ssh-coyp-id hadoop-001
ssh-coyp-id hadoop-002
ssh-coyp-id hadoop-003


#配置hadoop-002到hadoop-033的免密码登陆
#在hadoop-002上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-coyp-id hadoop-003

#注意:两个namenode之间要配置ssh免密码登陆,

在 hadoop-002上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i hadoop-001


2.4将配置好的hadoop拷贝到其他节点


scp -r ~/bigdatasoftware/hadoop-2.7.2/etc hadoop@hadoop-002:/home/hadoop/bigdatasoftware/hadoop-2.7.2
scp -r ~/bigdatasoftware/hadoop-2.7.2/etc hadoop@hadoop-003:/home/hadoop/bigdatasoftware/hadoop-2.7.2




###注意:严格按照下面的步骤!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

2.5

启动zookeeper集群(分别在hadoop-001、hadoop-002、hadoop-03上启动zk)


cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start



#查看状态:一个leader,两个follower


./zkServer.sh status




2.6

手动启动journalnode(分别在在hadoop-001、hadoop-002、hadoop-03上执行)


hadoop-daemon.sh start journalnode



#运行jps命令检验,hhadoop-001、hadoop-002、hadoop-03上多了JournalNode进程

2.7

格式化namenode

#在hadoop00上执行命令:


hdfs namenode -format



#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件,这里我配置的是/home/hadoop//tmp,然后将/home/hadoop//tmp拷贝到hadoop-002的/home/hadoop/下。


scp -r ~/tmp/ hadoop@hadoop-002:/home/hadoop/



##也可以这样,建议hdfs namenode -bootstrapStandby

2.8

格式化ZKFC(在hadoop-001上执行即可)


hdfs zkfc -formatZK




2.9启动HDFS(在hadoop-001上执行)


sbin/start-dfs.sh


 

2.10

启动YARN(#####注意#####:是在hadoop-002上执行start-yarn.sh,把namenode和resourcemanager分开是因为性能问题,因为他们都要占用大量资源,所以把他们分开了,他们分开了就要分别在不同的机器上启动)


sbin/start-yarn.sh


 


到此,hadoop-2.7.2配置完毕,可以统计浏览器访问:


http://hadoop-001:50070
NameNode 'hadoop-001:9000' (active)
http://hadoop-002:50070
NameNode 'hadoop-002:9000' (standby)


 

 

验证HDFS HA
首先向hdfs上传一个文件


hadoop fs -put /etc/profile /profile
hadoop fs -ls /



然后再kill掉active的NameNode


kill -9 <pid of NN>



通过浏览器访问:hadoop-002:50070
NameNode 'hadoop-002:9000' (active)
这个时候hadoop-002上的NameNode变成了active

 

在执行命令:


hadoop fs -ls /




刚才上传的文件依然存在!!!
手动启动那个挂掉的NameNode


sbin/hadoop-daemon.sh start namenode



通过浏览器访问:


hadoop-001:50070
NameNode 'hadoop-001:9000' (standby)




验证YARN:
运行一下hadoop提供的demo中的WordCount程序:


hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out




OK,大功告成!!!




测试集群工作状态的一些指令 :


bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息


 

 

bin/hdfs haadmin -getServiceState nn1 获取一个namenode节点的HA状态


 

sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程


 

./hadoop-daemon.sh start zkfc 单独启动一个zkfc进程











 

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
hdfs、zookeepeer之HA模式

HA简介 1.所谓HA,即高可用(high available) 2.消除单点故障,避免集群瘫痪,hdfs中namenode保存了整个集群的元数据,如果namenode所在机器宕机,则整个集群瘫痪,HA  能够即使将备用的n...

osc_2uzytk1r
2018/12/18
1
0
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(八)安装zookeeper-3.4.12

如何搭建配置centos虚拟机请参考《Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《...

osc_as44gib4
2018/06/30
6
0
Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分...

虚拟世界的懒猫
2019/07/22
256
0
zookeeper(五)选举模式和zookeeper的集群搭建

一、基本概念 zk集群,主从节点,心跳机制(选举模式) 配置数据文件myid 1/2/3 对应 server.1/2/3 通过./zkCli.sh -server [ip]:[port] 检测集群是否配置成功 二、zookeeper伪集群的搭建 进...

un_wyh
2018/07/02
262
0
Hadoop集群搭建:用三台云服务器搭建HA集群(过程记录和分享)

该文主要记录了自己用云服务器搭建集群的过程,也分享一些自己遇到的问题和解决方法。里面可能提及一些自己的理解,可能不够准确,希望大家能够指正我,谢谢。 1.什么是HA集群 HA :High Av...

osc_jww09jef
2018/06/28
3
0

没有更多内容

加载失败,请刷新页面

加载更多

linux下java环境搭建

1、jdk下载: 官方地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 如下图所示,我这边选择的是红框中的版本 2、压缩包上传至服务器 将下载的压缩包上传...

wc_飞豆
26分钟前
17
0
面试题:Java对象不再使用时,为什么要赋值为null?

前言 许多Java开发者都曾听说过“不使用的对象应手动赋值为null“这句话,而且好多开发者一直信奉着这句话;问其原因,大都是回答“有利于GC更早回收内存,减少内存占用”,但再往深入问就回...

码农突围
28分钟前
22
0
设计模式(5) 原型模式

原型模式 原型模式的适用场景 浅拷贝 深拷贝 用Initialize方法修改初始化状态 原型模式与之前学习的各种工厂方法、单例模式、建造者模式最大、最直观的区别在于,它是从一个既有的对象“克隆...

zhixin9001
28分钟前
7
0
获取免费的pycharm激活码网站

http://www.lookdiv.com/

云烟成雨forever
29分钟前
27
0
用Helm部署Kubernetes应用,支持多环境部署与版本回滚

1 前言 Helm是优秀的基于Kubernetes的包管理器。利用Helm,可以快速安装常用的Kubernetes应用,可以针对同一个应用快速部署多套环境,还可以实现运维人员与开发人员的职责分离。现在让我们安...

南瓜慢说
30分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部