文档章节

HBase全分布式模式的安装和配置

JackieYeah
 JackieYeah
发布于 2016/07/15 03:03
字数 982
阅读 1477
收藏 4

##集群节点规划 | 节点名称 | Master | ZooKeeper | RegionServer| | ------------- |:-------------:| -----:| | master | yes | yes |no| | slave01 | no | yes |yes| | slave02 | no | yes |yes|

##配置master节点 ###conf/regionservers regionservers 配置文件用来指定运行 RegionServer 的节点, 根据上表的节点规划, 编辑 conf/regionservers 文件, 删除内容为 localhost 的这一行, 然后将 slave01 和 slave02 的主机名或 IP 地址添加进去.regionservers 配置文件的内容如下:

slave01
slave02

###ZooKeeper配置 ####conf/hbase-env.sh HBase 集群的运行依赖 ZooKeeper 集群.所有的节点和客户端都必须要能够访问 ZooKeeper, HBase 自己默认会管理一个 ZooKeeper 集群, 这个集群会随着 HBase 的启动而启动。现在我们希望自己维护一个 ZooKeeper 集群, 需要在 conf/hbase-env.sh 文件中做以下配置:

export JAVA_HOME=/opt/java/jdk1.7.0_80/  #JDK安装目录
export HBASE_MANAGES_ZK=false #不用HBase管理ZooKeeper集群

####conf/hbase-site.xml 既然是我们自己管理 ZooKeeper 集群, 就需要告诉 HBase ZooKeeper 集群的地址, 修改 conf/hbase-site.xml 文件:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
  	<name>hbase.cluster.distributed</name>
  	<value>true</value>
    </property>
    <property>
   	<name>hbase.zookeeper.quorum</name>
  	<value>master,slave01,slave02</value>
    </property>
    <property>
    	<name>hbase.zookeeper.property.dataDir</name>
    	<value>/opt/zookeeper/data</value>
    </property>
</configuration>

hbase.rootdir 指定 HBase 中的存储目录, 注意 "hdfs://master:9000" 必须要与 Hadoop 集群的 core-site.xml 配置文件中 fs.defaultFS 配置项的值保持一致; hbase.cluster.distributed 指定 HBase 的运行模式, true代表分布式模式;hbase.zookeeper.quorum 指定 Zookeeper 集群的机器列表, 一般为奇数个; hbase.zookeeper.property.dataDir 指定 ZooKeeper 数据存放的路径.

##配置slave01和slave02 ###安装HBase 分别在 slave01 和 slave02 上安装 HBase, 安装过程可以参考之前的一篇博客 HBase单机模式和伪分布式模式安装和配置. ###拷贝master配置文件 使用以下命令拷贝 master 服务器上 HBase 安装目录下 conf 文件夹的内容到 slave01 和 slave02.

scp -r conf hadoop@slave01:/opt/hbase/
scp -r conf hadoop@slave02:/opt/hbase/

##启动集群 ###启动ZooKeeper集群 在 ZooKeeper 集群的每台服务器上执行 zkServer.sh start 命令即可启动集群, 更多详细信息可以参考我之前的博客 ZooKeeper安装和配置.

启动成功后, 使用 jps 命令可以看到每台服务器上都启动了这个 QuorumPeerMain 进程.

###启动Hadoop集群 在 master 节点上执行 start-dfs.sh 脚本, 然后再执行 start-yarn.sh 脚本可以启动 Hadoop 集群, 更多详细信息可以参考我之前的博客 Hadoop 2.6.4分布式集群环境搭建.

###启动HBase集群 在 master 节点上执行 start-hbase.sh 命令可以启动 HBase 集群.

hadoop[@master](http://my.oschina.net/u/48054):~$ start-hbase.sh 
starting master, logging to /opt/hbase/logs/hbase-hadoop-master-master.out
slave02: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave02.out
slave01: starting regionserver, logging to /opt/hbase/bin/../logs/hbase-hadoop-regionserver-slave01.out

###校验运行的进程 在集群中的每台服务器上执行 jps 命令查看当前正在运行的 java 进程以检查集群是否启动成功. ####master节点jps命令输出 master-jps ####slave01节点jps命令输出 slave01-jps ####slave02节点jps命令输出 slave02-jps ####ZooKeeper进程名称 因为 ZooKeeper 集群是由我们自己来管理的, 所以 ZooKeeper 进程的名称为 QuorumPeerMain.如果 ZooKeeper 集群是由 HBase 来管理的话, ZooKeeper 进程的名称则为 HQuorumPeer. ##Web UI HBase 0.98.x 之后的版本中, HBase Web UI 使用的 HTTP 端口号已经从 Master 节点使用 60010 端口、每个 RegionServer 使用 60030 端口变成 Master 节点使用 16010 端口、RegionServer 使用 16030 端口.

在浏览器中输入地址 http://master:16010/ 来访问 HBase Web UI. ###Region Server region-server

###HBase表 表统计信息

hbase-table

表明细信息

table-detail

###软件属性 soft-attr1

soft-attr2 ##参考资料 http://hbase.apache.org/book.html#quickstart

© 著作权归作者所有

JackieYeah
粉丝 45
博文 70
码字总数 90004
作品 0
武汉
程序员
私信 提问
搭建HBase的本地模式、伪分布式、全分布式和HA模式

一、安装HBase: 我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase: tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training 配置HBase的环境变量: export HBASE_HOME=/root/training/hbase-1.......

李金泽
2018/07/05
0
0
2018-08-12期 Hbase本地模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作。 (2)伪分...

JackmaSong
2018/08/12
0
0
一文让您全面了解清楚HBase数据库的所有知识点,值得收藏!

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、HBase基本概念:列式数据...

李金泽
2018/03/04
0
0
【HBase】 - 单机模式、伪分布式、完全分布式配置

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库,随着现在互联网的数据量越来越多,需求更加多元化,传统的关系型数据库无法满足实际的业务需求,NoSql类型数据库孕育而生。 传统...

ZeroneLove
02/25
17
0
2018-08-13期 Hbase伪分布模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作。 (2)伪分...

JackmaSong
2018/08/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
9
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
964
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部