文档章节

hadoop2.5.2HA高可靠性集群搭建(zookeeper3.4.6+hbase0.98.11)

小黑放大
 小黑放大
发布于 2015/03/23 11:16
字数 1700
阅读 9.8K
收藏 12

精选30+云产品,助力企业轻松上云!>>>

    在hadoop2中新的NameNode不再是只有一个,可以有多个(目前只支持2个)。每一个都有相同的职能。

    一个是active状态的,一个是standby状态的。当集群运行时,只有active状态的NameNode是正常工作的,standby状态的NameNode是处于待命状态的,时刻同步active状态NameNode的数据。一旦active状态的NameNode不能工作,通过手工或者自动切换,standby状态的NameNode就可以转变为active状态的,就可以继续工作了。这就是高可靠。

    在这里,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,JournalNode集群或者NFS进行共享。NFS是操作系统层面的,JournalNode是hadoop层面的,我们这里使用JournalNode集群进行数据共享。

    这就需要使用ZooKeeper集群进行选择了。HDFS集群中的两个NameNode都在ZooKeeper中注册,当active状态的NameNode出故障时,ZooKeeper能检测到这种情况,它就会自动把standby状态的NameNode切换为active状态。


一、配置前准备

1、SSH免登陆(略)

2、文件/etc/profile

export PATH=.:$PATH
export CLASSPATH=.:$CLASSPATH

#java
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

#zookeeper
export ZOOKEEPER_HOME=/home/mars/zookeeper
export CLASSPATH=$CLASSPATH:$ZOOKEEPER_HOME/lib
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#hadoop
export HADOOP_HOME=/home/mars/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  

#hbase
export HBASE_HOME=/home/mars/hbase
export CLASSPATH=$CLASSPATH:$HBASE_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

配置后需要执行

source /etc/profile

才会生效

3、文件/etc/host

127.0.0.1       localhost
192.168.16.217 os1
192.168.16.218 os2
192.168.16.212 os3
192.168.16.213 os4
192.168.16.214 os5

配置后需要执行

source /etc/hosts

才会生效


二、配置详细

1、各机器职责

    机器有限,我这里选用5台机器配置,各自职责如下


进程 os1 os2 os3 os4 os5
NN NameNode 不是 不是 不是
DN DateNode
JN JournalNode 不是 不是
Zoo QuorumPeerMain 不是 不是
yarn ResourceManager 不是 不是 不是 不是

NodeManager
hbase HMaster 不是 不是 不是 不是

HRegionServer
ZKFC DFSZKFailoverController 不是 不是 不是


     配置文件一共包括6个,分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves。

2、文件hadoop-env.sh

修改一行配置

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64


3、文件core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://whcx</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/mars/hadoop/tmp</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>os1:2181,os2:2181,os3:2181</value>
        </property>
</configuration>


4、文件hdfs-site.xml

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/mars/hadoop/tmp/name</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/mars/hadoop/tmp/data,/sas/hadoop/data</value>
        <!-- /sas/hadoop/data 这台电脑挂载了另一个盘 -->
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>whcx</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.whcx</name>
        <value>os1,os2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.whcx.os1</name>
        <value>os1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.whcx.os1</name>
        <value>os1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.whcx.os2</name>
        <value>os2:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.whcx.os2</name>
        <value>os2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://os1:8485;os2:8485;os3:8485/whcx</value>
    </property>
         <property>
        <name>dfs.ha.automatic-failover.enabled.whcx</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.whcx</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/mars/hadoop/tmp/journal</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/mars/.ssh/id_rsa</value>
    </property>
</configuration>


5、mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>


6、yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>os1</value>
                <!-- resourcemanager在os1上 -->
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>


7、slaves

os1
os2
os3
os4
os5


8、zookeeper配置

zookeeper中/conf/zoo.cnf

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/mars/zookeeper/data
clientPort=2181
server.1=os1:2888:3888
server.2=os2:2888:3888
server.3=os3:2888:3888

zookeeper中新建data目录,在data目录下新建文件myid

和zoo.cnf中的配置保持一致,os1中的myid编辑为1,os2中的myid编辑为2,os3中的myid编辑为3


9、hbase配置

文件hbase-site.xml

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://whcx/hbase</value><!--这里必须跟core-site.xml中的配置一样-->
        </property>
        <!-- 开启分布式模式 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!--    这里是对的,只配置端口,为了配置多个HMaster -->
        <property>
                <name>hbase.master</name>
                <value>os2:60000</value>
        </property>

    <property>
                <name>hbase.tmp.dir</name>
                <value>/home/mars/hbase/tmp</value>
    </property>
        <!-- Hbase的外置zk集群时,使用下面的zk端口 -->
    <property>
                <name>hbase.zookeeper.quorum</name>
                <value>os1:2181,os2:2181,os3:2181</value>
    </property>
</configuration>


三、启动过程

1、启动Zookeeper集群

分别在os1、os2、os3上执行

zkServer.sh start

然后执行

zkServer.sh status

查看是否启动,确保启动后执行后面的步骤

三个节点都启动后,执行

zkCli.sh

然后执行

ls /

查看Zookeeper集群中是否有HA节点


2、格式化Zookeeper集群,目的是在Zookeeper集群上建立HA的相应节点

在os1上执行

hdfs zkfc –formatZK

(注意,这条命令最好手动输入,直接copy执行有可能会有问题)

格式化后验证,执行

zkCli.sh

在执行

ls /

会出现下图中红色部分

则表示格式化成功

ls /hadoop-ha

会出现我们配置的HA集群名称


3、启动Journal集群

分别在os1、os2、os3上执行

hadoop-daemon.sh start journalnode


4、格式化集群上的一个NameNode

os1os2上任选一个即可,这里我是在os1

hdfs namenode -format -clusterId ss


5、启动集群中步骤4中的NameNode

启动os1上的NameNode

hadoop-daemon.sh start namenode


6、把NameNode的数据同步到另一个NameNode上

把NameNode的数据同步到os2上

hdfs namenode –bootstrapStandby

这条命令依旧需要手动敲


同步数据还有另一种方法

直接copy数据到os2上

scp -r /home/mars/hadoop/tmp mars@os2:/home/mars/hadoop/tmp

如果第一种方法同步失败可以采用第二种同步方法


7、启动另个一NameNode

在os2上执行

hadoop-daemon.sh start namenode


8、启动所有的DataNode

hadoop-daemons.sh start datanode


9、启动Yarn

start-yarn.sh


10、启动Hbase

start-hbase.sh


11、启动ZKFC

分别在os1、os2上执行

hadoop-daemon.sh start zkfc



至此配置成功


结束语

由于是测试环境,且机器有限,每个机器上职责重,如果是在实际生产中,个人认为,作为任务的分发分配,应该给ResourceManager分配一台机器,这台机器只仅仅只运行ResourceManager,journal集群也该分配三台机器来共享元数据。我这里的主节点同时也是从节点,实际生产中不会这么做。


下一篇: Quartz定时
小黑放大
粉丝 5
博文 20
码字总数 13283
作品 0
武汉
程序员
私信 提问
加载中
此博客有 5 条评论,请先登录后再查看。
Apache HBase 2.1.8 发布,分布式存储系统

Apache HBase 2.1.8 发布了。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 HB...

oschina
2019/12/08
1.5K
1
阿里云轻量应用服务器和ECS云服务器区别及选择方法

阿里云轻量应用服务器和ECS云服务器哪个好?轻量应用服务器和ECS云服务器有什么区别?云服务器吧分享阿里云轻量应用服务器和ECS云服务器的区别及选择方法: 阿里云ECS和轻量应用服务器区别对...

新手站长网
04/07
0
0
(五)java B2B2C Springcloud多租户电子商城系统-消息队列之 RabbitMQ

目前业界有四款常用的消息队列,它们分别是RabbitMQ、RocketMQ、ActiveMQ和Kafka。需要源码可以加企鹅球球:一零三八七七四六二六 来源: java B2B2C Springcloud多租户电子商城系统 Rabbit...

鸿鹄springcloud
2019/01/02
12
0
阿里云轻量应用服务器和ECS云服务器区别对比选择方法

阿里云轻量应用服务器和ECS云服务器哪个好?轻量应用服务器和ECS云服务器有什么区别?云服务器吧分享阿里云轻量应用服务器和ECS云服务器的区别及选择方法: 轻量应用服务器和ECS云服务器详解...

码笔记
04/07
5
0
Apache HBase 2.1.0 发布,分布式数据库

Apache HBase 2.1.0 发布了,HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 HB...

h4cd
2018/07/23
2.7K
5

没有更多内容

加载失败,请刷新页面

加载更多

主机“ xxx.xx.xxx.xxx”不允许连接到该MySQL服务器

问题: This should be dead simple, but I cannot get it to work for the life of me. 这本来应该很简单,但是我无法让它在我的一生中发挥作用。 I'm just trying to connect remotely to......

技术盛宴
29分钟前
8
0
Cocoa Autolayout:内容拥抱与内容压缩阻力优先

问题: I can't find a clear answer on Apple documentation regarding Cocoa Autolayout about the difference between content hugging and compression resistance. 关于Cocoa Autolayou......

javail
59分钟前
12
0
OSChina 周二乱弹 —— 附近居民接连失踪,你们有什么头绪吗

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《伤离别(原版)》- 黄霑 手机党少年们想听歌,请使劲儿戳(这里) @巴拉迪维 :睡...

小小编辑
今天
21
0
IntelliJ IDEA 默认快捷键大全

Remember these Shortcuts 常用 功能 快捷键 备注 ● Smart code completion Ctrl + Shift + Space - ● Search everywhere Double Shift - ● Show intention actions and quick-fixes Alt......

巨輪
今天
24
0
Hacker News 简讯 2020-07-14

更新时间: 2020-07-14 02:01 Chipmaker Analog Devices to Acquire Maxim Integrated for $21B - (reuters.com) 芯片制造商模拟设备公司将以210亿美元收购Maxim Integrated 得分:92 | 评论:......

FalconChen
今天
136
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部