文档章节

HBase安装配置

把南墙撞开
 把南墙撞开
发布于 2017/02/03 23:22
字数 584
阅读 3
收藏 0


HBase的安装配置:

4台主机:hdp0  hdp1  hdp2  hdp3

hdp0 hdp1 跑HMaster

hdp2 hdp3 跑HRegionServer

将HBase解压之后

1、确保安装ZooKeeper;

2、修改hbase-env.sh

    export JAVA_HOME=/.../jdk

    export HBASE_MANAGES_ZK=false //使用外部的zk。hbase自己维护的ZooKeeper不稳定

3、修改hbase-site.xml

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://ns1/hbase</value>  #HDFS为HA时,HBase不认识ns1,需要将hadoop的core-site.xml和hdfs-sit.xml复制到conf文件夹下
</property>
<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
</property>
<property>
        <name>hbase.zookeeper.quorum</name>
        <value>hdp0:2181,hdp1:2181,hdp2:2181</value>
</property>
4、修改regionservers文件,记录HRegionServer的节点

    hdp2

    hdp3

5、HDFS为HA时,将core-site.xml和hdfs-site.xml复制到conf文件夹下

7、将hbase拷贝到其他节点

    scp -r /.../hbase hdp2:/.../

    scp -r /.../hbase hdp3:/.../

8、启动hbase

    hdp0>bin/start-hbase.sh 

    hdp1>bin/hbase-daemon.sh start master //作为备用master,依靠ZooKeeper进行主从切换


web端口:60010


HBase和Hadoop的版本要对应。

在HBase的lib目录下对应的Hadoop版本相对稳定。

如果用户想要使用其他的Hadoop版本,需要将Hadoop系统安装目录的hadoop-*.*.*-core.jar文件和hadoop-*.*.*-test.jar复制到HBase的lib文件夹下,以替换其他版本的Hadoop文件。



关于hbase-default.xml或hbase-site.xml文件中的几个重要参数配置:

hbase.client.write.buffer:

写入缓冲区的数据大小,单位为字节,默认大小为2MB。此值过大会加重服务器负担,过小会影响HBase性能。


hbase.master.meta.thread.rescanfrequency

HMaster会扫描ROOT和META表的时间间隔,单位为毫秒,默认60,000毫秒。


hbase.regionserver.handler.count

客户端向服务器请求服务时,服务器先将客户端的请求连接放入一个队列中,然后服务器通过轮询的方式进行处理。

该值指出RegionServer上等待处理请求的实例数目,默认为10。

服务器端写数据缓存所消耗的内存大小为hbase.client.write.buffer*hbase.regionserver.handler.count


hbase.hregion.max.filesize

设置HRegion中StoreFile的最大值,默认256MB。当表中的列族超过此值时,文件将被分隔。


hfile.block.cache.size

表示HFile/StoreFile缓存所占Java虚拟机堆大小的百分比,默认值为0.2。0表示禁用此选项。


hbase.regionserver.global.memstore.upperLimit

表示MemStore所占Java虚拟机堆大小的最大值,默认值为0.4。

当超过时,更新操作将被阻塞,所有内容将被强制写出。


hbase.hregion.memstore.flush.size

如果MEMStore的大小超过此值,将被写到磁盘上。默认64MB。



本文转载自:http://blog.csdn.net/weixin_37289816/article/details/54807818

下一篇: Storm简介
把南墙撞开
粉丝 0
博文 73
码字总数 21068
作品 0
昌平
私信 提问
hbase 数据库简介安装与常用命令的使用

一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 1.2 hbase 简介: 1.3 HBase与Hadoop的对比 1.4 HB...

flyfish225
2018/04/12
0
0
搭建HBase的本地模式、伪分布式、全分布式和HA模式

一、安装HBase: 我这里选择的是hbase-1.3.1-bin.tar.gz版本解压HBase: tar -zxvf hbase-1.3.1-bin.tar.gz -C ~/training 配置HBase的环境变量: export HBASE_HOME=/root/training/hbase-1.......

李金泽
2018/07/05
0
0
完全分布式集群(五)Hbase-1.2.6.1安装配置

环境信息 完全分布式集群(一)集群基础环境及zookeeper-3.4.10安装部署 hadoop集群安装配置过程 安装hive前需要先部署hadoop集群 完全分布式集群(二)hadoop2.6.5安装部署 Hbase集群安装部...

PeakFang-BOK
2018/10/16
133
0
R语言与Hadoop和Hbase的联合使用

HBase和rhbase的安装与使用,分为3个章节。 1. 环境准备及HBase安装2. rhbase安装3. rhbase程序用例 每一章节,都会分为”文字说明部分”和”代码部分”,保持文字说明与代码的连贯性。 注:...

openthings
2015/07/02
1K
0
分布式数据库 Hbase 的高可用管理和监控

HBase 作为 BigTable 的一个开源实现,随着其应用的普及,越来越被各大企业应用于海量数据系统中。本文将向读者简要介绍 Apache HBase 的基本知识,并展开介绍 IBM 对 HBase 的改进和扩展,H...

IBMdW
2013/06/14
3.1K
1

没有更多内容

加载失败,请刷新页面

加载更多

让《强化学习(第2版)》架起一座通往强化学习经典知识宝库的桥梁

上交大计算科学与工程系俞凯教授,5分钟口述讲解,带你快速认识了解年度重磅图书《强化学习(第二版)》! 在 AlphaGo战胜李世石之后,AlphaZero以其完全凭借自我学习超越人类在各种棋类游戏...

博文视点Bv
18分钟前
6
0
TLA7-EVM开发板的处理器、NOR FLASH、DDR3

TLA7-EVM开发板是一款由广州创龙基于Xilinx Artix-7系列FPGA自主研发的核心板+底板方式的开发板,可快速评估FPGA性能。核心板尺寸仅70mm*50mm,底板采用沉金无铅工艺的6层板设计,专业的PCB...

Tronlong创龙
27分钟前
4
0
UUID的变种-有序

为了解决UUID无序的问题,NHibernate在其主键生成方式中提供了Comb算法(combined guid/timestamp)。保留GUID的10个字节,用另6个字节表示GUID生成的时间(DateTime)。 /// <summary> //...

Canaan_
28分钟前
4
0
Netty学习(6)——通道间数据传输

1. FileChannel实现通道间的数据传输 在Java NIO中,如果两个通道中有一个是FileChannel,那你可以直接将数据从一个channel传输到另外一个channel。 transferFrom() FileChannel的transferF...

江左煤郎
31分钟前
3
0
AngularDOM操作

gtandsn
32分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部