HDFS搭好后 就可以开始搭建HBase了
1. 角色定义 以及安装相应的包
主机 角色 软件包
hbase1 hbase-master hbase-master hbase-rest hbase-thrift
hbase2 zookeeper region-server hbase-regionserver zookeeper zookeeper-server
hbase3 region-server hbase-regionserver
2. zookeep安装 (参考文档)
a. 安装zookeeper相关包
sudo yum install zookeeper
sudo yum install zookeeper-server
b. 启动zookeeper
sudo service zookeeper-server init
sudo service zookeeper-server start
这里可能会遇到myid没有定义之类的问题 忘记具体是怎么处理的了 好像是把myid文件删了 然后重建
在生产环境上部署奇数台zookeeper的相关文档 请参考这里 我只部署了一台zookeeper
3. 修改ulimit 增加file handlers
在/etc/security/limits.conf文件中添加以下两行
hdfs - nofile 32768
hbase - nofile 32768
4. 配置hdfs-site.xml
添加以下属性 增加HDFS DataNode每次可以处理的文件数 并且重启HDFS
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
5. 安装HBase相关软件包
a. 按照每台机器的角色安装相应的包
b. 如果需要的话 配置HBase REST的端口号
<property>
<name>hbase.rest.port</name>
<value>60050</value>
</property>
c. 配置Hbase分布式模式
修改hbase-site.xml 如下 并且push到其它Hbase的节点上去
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hbase1.test.example.com:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hbase2.test.example.com</value>
</property>
<property>
<name>hbase.rest.port</name>
<value>60050</value>
</property>
<property>
<name>hbase.master.port</name>
<value>60000</value>
<description>The host and port that the HBase master runs at.</description>
</property>
<property>
<name>hbase.regionserver.port</name>
<value>60020</value>
<description>The host and port that the HBase master runs at.</description>
</property>
</configuration>
d. 在HDFS上创建hbse目录
sudo -u hdfs hadoop fs -mkdir /hbase
sudo -u hdfs hadoop fs -chown hbase /hbase
e. 在conf/regionservers 配置文件中加入 regionserver的主机名
f. 启动HBase
启动次序如下:
1,The ZooKeeper Quorum Peer
2,The HBase Master
3, Each of the HBase Region Servers
h. 通过hbase-master:60010查看HBase集群的状态