文档章节

Hadoop HBase

manonline
 manonline
发布于 2017/07/25 00:27
字数 385
阅读 4
收藏 0

Comparison

RDBMS

HBase

Overview

Master

HBase Master Node orchestrates a cluster of one or more Region Servers

  • Bootstrap a virgin install
  • Assign regions to Region Servers
  • Recover Region Server failure

Region Server

  • Carry regions
  • Respond to client read/write requests
  • Inform Master Node the new region

Zookeeper

The authority on cluster state. The Zookeeper ensemble hosts vital:

  • Location of the hbase:meta table
  • Address of Master
  • Host the assignment transaction state (for recovery purpose)

Client

When bootstrapping a client connection to HBase cluster, the client must be passed the location of Zookeeper ensemble. Thereafter, client navigates the ZooKeeper hierarchy to learn about cluster attributes  

hbase:meta

HBase keep a special catalog table named hbase:meta, within which it maintains the current list, state and locations of all user-space regions afloat on the cluster. Entries in hbase:meta are keyed by region name, which is 

  • table_name,start_row,creation_time.MD5(table_namestart_rowcreation_time).

Fresh clients connect to the ZooKeeper cluster first to learn the location of hbase:meta. The client then does a lookup against the appropriate hbase:meta region to figure out the hosting user-space region and its location. Thereafter, the client interacts directly with the hosting region server.

As region transitions - split, disabled, enabled, deleted or redeployed, the catalog table is updated.

HBase Commands

By default, HBase writes to /${java.io.tmpdir}/hbase-${user.name}.${java.io.tmpdir} usually maps to /tmp, but you should configure HBase to use a more permanent location by setting hbase.tmp.dir in hbase-site.xml. In standalone mode, the HBase master, the regionserver, and a Zookeeper instance are all run in the same JVM.

  • HBase Shell
%hbase shell

# Create a table with one column family (with default column family attributes)
hbase(main):001:0>create 'table_name', 'column_family_name'

# Display tables 
hbase(main):002:0>list

# Insert some data
hbase(main):003:0>put 'table_name' 'row1', 'column_family_name:column_name', 'value1'
hbase(main):004:0>put 'table_name' 'row2', 'column_family_name:column_name', 'value2'
hbase(main):005:0>put 'table_name' 'row3', 'column_family_name:column_name', 'value3'

# Get a particular row with the row key
hbase(main):006:0>get 'table_name' 'row1'

# List the table content
hbase(main):007:0>scan 'table_name'

Client

Java Client, REST, Thrift and MapReduce API.

Load Data

For a large dataset, first, copy the raw file into HDFS, and then run a MapReduce job that can read the input and write to HBase.

 

© 著作权归作者所有

上一篇: Hadoop Spark
下一篇: Hadoop Flume&Sqoop
manonline
粉丝 0
博文 73
码字总数 66740
作品 0
私信 提问
Sqoop数据导入到HBase遇上的问题及解决方法

  【IT168 技术】运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username * --password **--hbase-bulkload --hbase-create-table --column-family info --hbase-row-k......

中国大数据
2018/05/31
0
0
【HBase】 - 单机模式、伪分布式、完全分布式配置

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库,随着现在互联网的数据量越来越多,需求更加多元化,传统的关系型数据库无法满足实际的业务需求,NoSql类型数据库孕育而生。 传统...

ZeroneLove
02/25
17
0
hadoop hive hbase 入门学习 (二)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hado......

curiousby
2015/03/08
0
0
HBase 常用Shell命令

1.进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命...

zlfwmm
2018/06/26
0
0
大数据(HBase-分布式安装和基本命令使用)

分布式搭建 1:下载官网对应的hbase的版本 地址:http://archive.apache.org/dist/hbase/1.2.3/ 2:上传对应的版本到主节点并解压 3:配置hbase的环境变量 export HBASEHOME=/home/hadoop/bd...

这很耳东先生
06/26
9
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
10
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
23
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部