文档章节

Zookeeper3.4.11+Hadoop2.7.6+Hbase2.0.0搭建分布式集群

海岸线的曙光
 海岸线的曙光
发布于 06/19 12:22
字数 1347
阅读 69
收藏 5

    有段时间没更新博客了,趁着最近有点时间,来完成之前关于集群部署方面的知识。今天主要讲一讲Zookeeper+Hadoop+Hbase分布式集群的搭建,在我前几篇的集群搭建的博客中已经分别讲过了Zookeeper和Hadoop的集群搭建:

    集群四部曲(一):完美的Zookeeper集群搭建

    集群四部曲(二):完美的Hadoop集群搭建

,剩下的就只有Hbase集群了,下面就来说一下基于Zookeeper和Hadoop的Hbase分布式集群的搭建。

    一、环境:同样的启用三个节点,分别是虚拟机slave01,slave02,slave03,基于之前已经搭建好的环境,包括JDK、Zookeeper、Hadoop

    二、Hbase配置(自己解压哈)

    配置前,着重说一下:版本匹配问题,若出现不匹配的情况,后面启动会失败,关于版本匹配大家可以参考该链接内容:

    https://blog.csdn.net/anningzhu/article/details/60468723

    接下来了解一下HMaster、HRegionServer,这里准备将slave01作为HMaster,slave02、slave03作为HRegionServer,下面的操作都是以这个为前提展开的,请大家做好战前温习,以防不知下面的操作的意义,开始配置吧:

    关闭防火墙,大家切记:

systemctl stop firewalld    #只在本次运用时生效,下次开启机器时需重复此操作
或
systemctl disable firewalld   #此命令在下次重启时生效,将永久关闭防火墙

    (1)将Hbase添加到环境变量中

vim /etc/profile

    添加HBASE_HOME,修改如下:

JAVA_HOME=/usr/java/jdk1.8.0_161
JRE_HOME=/usr/java/jdk1.8.0_161/jre
SCALA_HOME=/usr/local/scala
HADOOP_HOME=/usr/local/hadoop
SPARK_HOME=/usr/local/spark
ZOOKEEPER_HOME=/usr/local/zookeeper
HBASE_HOME=/usr/local/hbase
KAFKA_HOME=/usr/local/kafka
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$KAFKA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME SCALA_HOME HADOOP_HOME SPARK_HOME ZOOKEEPER_HOME HBASE_HOME KAFKA_HOME PATH CLASSPATH

    使文件生效,运行命令:

source /etc/profile

    (2)修改HBase目录conf下配置文件hbase-env.sh:

export JAVA_HOME=/usr/java/jdk1.8.0_161/
export HBASE_PID_DIR=/usr/local/hbase/pid/
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop/
export HBASE_MANAGES_ZK=false

    其中,pid自己手动在HBase目录下新建,ZK=false表示不使用自身的Zookeeper。

    (3)修改HBase目录conf下配置文件hbase-site.xml:

<configuration>
  <property>
    <name>hbase.root.dir</name>
    <value>hdfs://slave01:9000/hbase</value>
    <description>设置 hbase 数据库存放数据的目录</description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    <description>打开 hbase 分布模式</description>
  </property>
  <property>
    <name>hbase.master</name>
    <value>slave01</value>
    <description>指定 hbase 集群主控节点</description>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/usr/tmp/hbase</value>
    <description>hbase的一些临时文件存放目录。</description>
   </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>slave01,slave02,slave03</value>
    <description> 指定 zookeeper 集群节点名</description>
  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>60000000</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
    <description> 连接到zookeeper的端口,默认是2181</description>
  </property>
</configuration>

    其中,hbase.root.dir注意和Hadoop保持一致。

    (4)修改HBase目录conf下配置文件regionservers:

slave02
slave03

    添加的是作为datanode的节点。

    (5)拷贝配置文件到其他服务器

    若不想一个一个的进行文件配置,可以将已经配置好的文件拷贝到其他需要的服务器上,注意拷贝成功后执行命令:source /etc/profile使之生效

//slave01上的/etc/profile文件拷贝到slave02
scp -r /etc/profile slave02:/etc/profile
//slave01上的/usr/local/hadoop文件夹整个目录拷贝到slave02
scp -r /usr/local/hbase slave02:/usr/local/

    节点slave03同上。以上配置即初步完成了HBase的配置,下面是启动验证的时候了,在这之前,最好重启虚拟机,保证所有的配置生效,切记,重启后先关闭防火墙,w(゚Д゚)w。

    三、启动HBase集群并验证

    因为我们使用的是Zookeeper+Hadoop+HBase,所以启动前,先要启动Zookeeper和Hadoop,分别依次启动Zookeeper和Hadoop,保证正常启动,请参考之前的博客。正常启动后如下:

[hadoop@slave01 sbin]$ jps
2880 QuorumPeerMain
3656 ResourceManager
3945 Jps
3449 SecondaryNameNode
3213 NameNode
[hadoop@slave02 bin]$ jps
3079 Jps
3018 NodeManager
2876 DataNode
2687 QuorumPeerMain
[hadoop@slave03 bin]$ jps
2644 QuorumPeerMain
3066 Jps
2938 NodeManager
2794 DataNode

    接下来启动HBase,如下:

[hadoop@slave01 bin]$ ./start-hbase.sh 
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
running master, logging to /usr/local/hbase/logs/hbase-hadoop-master-slave01.out
slave02: running regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-regionserver-slave02.out
slave03: running regionserver, logging to /usr/local/hbase/bin/../logs/hbase-hadoop-regionserver-slave03.out

    显示多出的进程为HMaster:

[hadoop@slave01 sbin]$ jps
2880 QuorumPeerMain
4387 HMaster
4518 Jps
3656 ResourceManager
3449 SecondaryNameNode
3213 NameNode

    节点slave02和slave03多出的进程为HRegionServer:

[hadoop@slave02 bin]$ jps
3424 HRegionServer
3018 NodeManager
2876 DataNode
3485 Jps
2687 QuorumPeerMain

    好了,上面关于HBase集群已经成功启动了。

    四、查看hbase管理界面   

    访问 slave01:16010,如下:

    点击上图Region Servers中的节点slave02或者slave03即可查看其对应信息:

    通过上面我们可以查看hbase相关信息,非常实用。

    好了,关于这方面的配置已经结束了,下篇将说下HBase数据库的相关知识,敬请期待!

© 著作权归作者所有

共有 人打赏支持
海岸线的曙光

海岸线的曙光

粉丝 45
博文 49
码字总数 57597
作品 0
朝阳
程序员
私信 提问
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0
ZooKeeper的伪分布式集群搭建以及真分布式集群搭建

zk集群的一些基本概念 zookeeper集群搭建: zk集群,主从节点,心跳机制(选举模式) 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成...

ZeroOne01
04/24
0
0
hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环...

纯洁的虫纸
2017/08/11
0
0
Zookeeper完全分布式集群的搭建

Zookeeper完全分布式集群的搭建 一、集群模式 1、单机模式 在zoo.cfg中只配置一个server.id就是单机模式了。 这种模式下,如果当前主机宕机,那么所有依赖于当前zookeeper服务工作的其他服务...

星汉
04/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

当S8遇上边缘计算:谈阿里云ENS对直播业务场景的支撑

摘要: 类似S8赛事这样的大型活动直播的特点和技术挑战是什么?为什么业务要下沉到边缘?自建边缘节点和与云服务厂商合作到底该如何选择?边缘节点服务(ENS)又是如何进行技术支撑?提供的针...

阿里云官方博客
14分钟前
1
0
supervisor安装配置

supervisor安装配置 安装 wget -c https://files.pythonhosted.org/packages/44/60/698e54b4a4a9b956b2d709b4b7b676119c833d811d53ee2500f1b5e96dc3/supervisor-3.3.4.tar.gztar -zxvf su......

jackmanwu
25分钟前
1
0
laravel定时器

民间高手: https://blog.csdn.net/zhezhebie/article/details/79205414 官方文档: https://laravel-china.org/docs/laravel/5.5/scheduling/1325...

vio小黑
47分钟前
0
0
Apache Zeppelin安装及使用

Apache Zeppelin官网:http://zeppelin.apache.org/ Apache Zeppelin介绍:A web-based notebook that enables interactive data analytics. You can make beautiful data-driven, interacti......

GordonNemo
49分钟前
4
0
关于python开发多个项目环境配置Anaconda

关于Anaconda用来管理Python的包和环境 下载并安装Anaconda 创建项目:windows键+R ==> 进入CMD => 输入conda create -n 项目名称 python=3 conda info -e 查看项目以及项目所在的位置,默认...

上官清偌
50分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部