文档章节

hadoop2.2.0对应HBase安装说明

超人学院
 超人学院
发布于 2014/11/24 15:51
字数 2060
阅读 51
收藏 0

HBase0.96.0安装说明

                           

注:安装配套2.2.0版本的HBase,需要-0.96.2-hadoop2-bin.tar.gz

1.1 下载安装包

下载地址:http://mirror.esocc.com/apache/hbase/
 hbase-0.96.2/hbase-0.96.2-hadoop2-bin.tar.gz

安装:

$ tar -zxf hbase-0.96.2-hadoop2-bin.tar.gz
$ cd hbase-0.96.2-hadoop2

 

配置:

 conf/hbase-site.xml 去配置hbase.rootdir,来选择Hbase将数据写到哪个目录 .

单机配置,只需要如下配置hbase-site.xml

<property> 

    <name>hbase.rootdir</name> 

   <value>hdfs://hadoop1:49002/hbase</value> 

    <description>The directory sharedbyRegionServers. 

    </description> 

  </property> 

 

默认hbase.rootdir是指向 /tmp/hbase-${user.name} ,也就说你会在重启后丢失数据(重启的时候操作系统会清理/tmp目录)

1.2. 启动 HBase

现在启动Hbase:

$ ./bin/start-hbase.sh

starting Master, logging tologs/hbase-user-master-example.org.out

现在你运行的是单机模式的Hbaes。所以的服务都运行在一个JVM上,包括Hbase和Zookeeper。Hbase的日志放在logs目录,当你启动出问题的时候,可以检查这个日志。

1.3. Hbase Shell

shell连接你的Hbase

$ ./bin/hbase shell

HBase Shell; enter'help<RETURN>' for list of supported commands.

Type"exit<RETURN>" to leave the HBase Shell

Version: 0.90.0, r1001068, FriSep 24 13:55:42 PDT 2010

 

hbase(main):001:0>

输入 help 然后 <RETURN> 可以看到一列shell命令。这里的帮助很详细,要注意的是表名,行和列需要加引号。

创建一个名为 test 的表,这个表只有一个column family 为 cf。可以列出所有的表来检查创建情况,然后插入些值。

hbase(main):003:0> create 'myhbase_table','cf'

0 row(s) in 1.2200 seconds

hbase(main):003:0> list'table'

myhbase_table

1 row(s) in 0.0550 seconds

hbase(main):004:0> put 'myhbase_table','row1', 'cf:a', 'value1'

0 row(s) in 0.0560 seconds

hbase(main):005:0> put 'myhbase_table','row2', 'cf:b', 'value2'

0 row(s) in 0.0370 seconds

hbase(main):006:0> put 'myhbase_table','row3', 'cf:c', 'value3'

0 row(s) in 0.0450 seconds

以上我们分别插入了3行。第一个行key为row1, 列为 cf:a, 值是 value1。Hbase中的列是由 column family前缀和列的名字组成的,以冒号间隔。例如这一行的列名就是a.

检查插入情况.

Scan这个表,操作如下

hbase(main):007:0> scan 'myhbase_table'

ROW       COLUMN+CELL

row1      column=cf:a, timestamp=1288380727188, value=value1

row2      column=cf:b, timestamp=1288380738440, value=value2

row3      column=cf:c, timestamp=1288380747365, value=value3

3 row(s) in 0.0590 seconds

Get一行,操作如下

hbase(main):008:0> get 'myhbase_table','row1'

COLUMN     CELL

cf:a       timestamp=1288380727188, value=value1

1 row(s) in 0.0400 seconds

disable 再 drop 这张表,可以清除你刚刚的操作

hbase(main):012:0> disable 'myhbase_table'

0 row(s) in 1.0930 seconds

hbase(main):013:0> drop 'myhbase_table'

0 row(s) in 0.0770 seconds

关闭shell

hbase(main):014:0> exit

1.4. 停止 HBase

运行停止脚本来停止HBase.

$./bin/stop-hbase.sh

stoppinghbase...............

 

 

 

 

2.  Hbase集群安装

安装条件:

1)  jdk和hadoop2.2.0已正确安装。

2)  检查ssh是否打通。  

3)  NTP:集群的时钟要保证基本的一致,看每台机器的时间是否一样。

如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!

 设置集群各个节点时钟:date -s “2014-04-18 15:00:00”

4)  ulimit 和 nproc:

Base是数据库,会在同一时间使用很多的文件句柄。

大多数linux系统使用的默认值1024是不能满足

可以先查看当前用户 ulimit:

ulimit -n

设置ulimit:

Ø  vi /etc/security/limits.conf

hadoop  - nofile 32768

hadoop soft/hard nproc 32000

5 )修改Hadoop HDFS Datanode同时处理文件的上dfs.datanode.max.xcievers

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限,配置conf/hdfs-site.xml里面的xceivers参数,至少要有4096:

      <property>

       <name>dfs.datanode.max.xcievers</name>

        <value>4096</value>

      </property>

对于HDFS修改配置要记得重启.

3.  分布式模式配置

3.1配置conf/hbase-env.sh

# exportJAVA_HOME=/usr/java/jdk1.7.0_04/

exportJAVA_HOME=/usr/java/jdk1.7.0_04/

# Tell HBase whether it should manage it'sowninstance of Zookeeper or not.

export HBASE_MANAGES_ZK=true

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理 一个zookeep集群。这个集群会随着Hbase的启动而启动。当然,你也可以自己管理一个zookeeper集群,但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的,作用是让Hbase启动的时候同时也启动zookeeper.

3.2 配置conf/hbase-site.xml

<configuration>
  <property>  
    <name>hbase.rootdir</name>   
    <value>hdfs://hadoop1:49002/hbase</value>  
  </property>  
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  
    <property>  
      <name>hbase.zookeeper.property.clientPort</name>  
      <value>2222</value>  
    </property>  
    <property>  
      <name>hbase.zookeeper.quorum</name>  
      <value>hadoop1,hadoop2,hadoop3</value>  
    </property>  
    <property>  
      <name>hbase.zookeeper.property.dataDir</name>  
      <value>/opt/hadoop/zookeeper</value>  
    </property>  
</configuration>

hbase.rootdir这个目 录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode 运行在node1的49002端口。则需要设置为hdfs://node1:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配 置,数据会在重启的时候丢失。默认: file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributedHbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。

默认: false

在hbase-site.xml配置zookeeper:

当Hbase管理zookeeper的时候,你可以通过修改zoo.cfg来配置zookeeper,

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置,你至少要在 hbase-site.xml中列出zookeepr的ensemble servers,具体的字段是 hbase.zookeeper.quorum.该这个字段的默认值是 localhost,这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

 

hbase.zookeeper.property.clientPort:ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

hbase.zookeeper.quorumZookeeper 集群的地址列表,用逗号分割。例 如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK, 这些ZooKeeper节点就会和Hbase一起启动。

默认: localhost

运行一个zookeeper也是可以的,但是在生产环境中,你最好部署3,5,7个节点。部署的越多,可靠性就 越高,当然只能部署奇数个,偶数个是不可以的。你需要给每个zookeeper 1G左右的内存,如果可能的话,最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重,不要把Zookeeper和RegionServer运行在同一台机器上 面。就像DataNodes 和 TaskTrackers一样

3.3 配置conf/regionservers

hadoop2

hadoop3

完全分布式模式的还需要修改conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer,一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动,集群的停止而停止.

 

4.  运行和确认安装

4.1当Hbase托管ZooKeeper的时候

当Hbase托管ZooKeeper的时候Zookeeper集群的启动是Hbase启动脚本的一部分

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个文件,然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。

用如下命令启动Hbase:

bin/start-hbase.sh

这个脚本在HBASE_HOME目录里面。

你现在已经启动Hbase了。Hbase把log记在 logs 子目录里面. 当Hbase启动出问题的时候,可以看看Log.

Hbase也有一个界面,上面会列出重要的属性。默认是在Master的60010端口上H (HBase RegionServers 会默认绑定 60020端口,在端口60030上有一个展示信息的界面 ).如果Master运行在 node1,端口是默认的话,你可以用浏览器在 http://hadoop1:60010看到主界面. .

一旦Hbase启动,可以看到如何建表,插入数据,scan你的表,还有disable这个表,最后把它删掉。

可以在Hbase Shell停止Hbase

$./bin/stop-hbase.sh

stoppinghbase...............

停止操作需要一些时间,你的集群越大,停的时间可能会越长。如果你正在运行一个分布式的操作,要确认在Hbase彻底停止之前,Hadoop不能停.

5.  测试

可以使用jps查看进程:在master上:

在hadoop2,hadoop3(slave节点)上

通过浏览器查看60010端口:

http://hadoop1:60010/master-status

注:遇到问题时,先查看logs,很有帮助。

HBase 官方文档,全面介绍hbase安装配置:

http://www.yankay.com/wp-content/hbase/book.html#hbase_default_configurations

© 著作权归作者所有

超人学院
粉丝 115
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
私信 提问
Hadoop+Spark+Hbase部署整合篇

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46673079 之前的几篇博客中记录的Hadoop、Spark和Hbase部署过程虽然看起来是没...

jchubby
2015/06/28
0
0
2018-08-16期 HBase全分布模式集群及HMaster HA安装部署

一、安装介质 http://archive.apache.org/dist/hbase hbase-0.96.2-hadoop2-bin.tar.gz 二、安装JDK: [root@hadoop-server01 bin]# mkdir -p /usr/local/apps [root@hadoop-server01 bin]#......

JackmaSong
2018/08/16
0
0
Sqoop数据导入到HBase遇上的问题及解决方法

  【IT168 技术】运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username * --password **--hbase-bulkload --hbase-create-table --column-family info --hbase-row-k......

中国大数据
2018/05/31
0
0
2018-08-12期 Hbase本地模式安装部署

说明: Hbase部署模式有以下三种 (1)本地模式:本地模式不依赖于HDFS存储,将文件存储到操作系统本地目录,好处是我们不需要搭建HDFS集群,即可学些HBase相关命令及客户端操作。 (2)伪分...

JackmaSong
2018/08/12
0
0
大数据(HBase-分布式安装和基本命令使用)

分布式搭建 1:下载官网对应的hbase的版本 地址:http://archive.apache.org/dist/hbase/1.2.3/ 2:上传对应的版本到主节点并解压 3:配置hbase的环境变量 export HBASEHOME=/home/hadoop/bd...

这很耳东先生
2019/06/26
23
0

没有更多内容

加载失败,请刷新页面

加载更多

最小化/解压缩JavaScript的工具[关闭]

关闭。 这个问题是 题外话 。 它当前不接受答案。 想改善这个问题吗? 更新问题 ,使其成为Stack Overflow 的主题 。 5年前关闭。 是否有任何命令行脚本和/或在线工具可以逆转缩小效果,类似...

技术盛宴
8分钟前
7
0
删除不再在远程存储库中的本地git标签

在部署过程中,我们在git中使用标签。 我们不时希望通过从远程存储库中删除它们来清理这些标记。 这很简单。 一个用户在一组命令中删除本地标签和远程标签。 我们有一个结合了两个步骤的小s...

javail
24分钟前
18
0
ZhaoWei-2020-01-29

并发相关 1、并发编程三要素? (1)原子性 原子性指的是一个或者多个操作,要么全部执行并且在执行的过程中不被其他操作打断,要么就全部都不执行。 (2)可见性 可见性指多个线程操作一个共...

SuSheePark
39分钟前
61
0
微信小程序结构说明

一、微信小程序结构: 小程序框架的目标是通过尽可能简单、高效的方式让开发者可以在微信中开发具有原生App体验服务 小程序框架提供了自己的视图层描述语言wxml和wxss以及JavaScript,并在视...

冥焱
43分钟前
66
0
AspectJ 切点指示器-03-execution

execution() 匹配满足某一匹配条件的目标方法的连接点 各个类最终结构图如下: 1、Factory package com.test.aspectj.expression;/** * 工厂接口 */public interface Factory {...

moon888
今天
72
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部