文档章节

bulk-load装载hdfs数据到hbase小结

超人学院
 超人学院
发布于 2015/06/01 16:25
字数 708
阅读 101
收藏 1

bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中,对于海量数据装载入hbase非常有用,参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html 

hbase提供了现成的程序将hdfs上的文件导入hbase,即bulk-load方式。它包括两个步骤(也可以一次完成): 
1 将文件包装成hfile,hadoop jar/path/to/hbase.jar importtsv -Dimporttsv.columns=a,b,c <tablename><inputdir> 
比如:

Java代码


  • hadoop dfs -cat test/1  

  • 1       2  

  • 3       4  

  • 5       6  

  • 7       8  

  hadoop dfs -cat test/1

  1       2

  3       4

  5       6

  7       8


执行

Java代码


  • hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test  

  hadoop jar ~/hbase/hbase-0.90.2.jar importtsv-Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test


将会启动mapreduce程序在hdfs上生成t8这张表,它的rowkey分别为1 35 7,对应的value为2 4 6 8 
注意,源文件默认以"\t"为分割符,如果需要换成其它分割符,在执行时加上-Dimporttsv.separator=",",则变成了以","分割 

2 在上一步中,如果设置了输出目录,如

Java代码


  • hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.bulk.output=tmp -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test  

   hadoop jar ~/hbase/hbase-0.90.2.jarimporttsv -Dimporttsv.bulk.output=tmp -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8test


那么t8表还暂时不会生成,只是将hfile输出到tmp文件夹下,我们可以查看tmp:

Java代码


  • hadoop dfs -du tmp       

  • Found 3 items   

  • 0           hdfs://namenode:9000/user/test/tmp/_SUCCESS       

  • 65254       hdfs://namenode:9000/user/test/tmp/_logs       

  • 462         hdfs://namenode:9000/user/test/tmp/f1  

  hadoop dfs -du tmp

  Found 3 items

  0          hdfs://namenode:9000/user/test/tmp/_SUCCESS

  65254      hdfs://namenode:9000/user/test/tmp/_logs

  462        hdfs://namenode:9000/user/test/tmp/f1


然后执行hadoop jar hbase-VERSION.jarcompletebulkload /user/todd/myoutput mytable将这个输出目录中的hfile转移到对应的region中,这一步因为只是mv,所以相当快。如: 
hadoop jar ~/hbase/hbase-0.90.2.jar completebulkload tmp t8 
然后

Java代码


  • hadoop dfs -du /hbase/t8/c408963c084d328490cc2f809ade9428       

  •     Found 4 items   

  •     124         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.oldlogs       

  •     692         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.regioninfo       

  •     0           hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.tmp       

  •     462         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/f1  

hadoop dfs -du/hbase/t8/c408963c084d328490cc2f809ade9428

  Found 4 items

  124        hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.oldlogs

  692         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.regioninfo

  0          hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.tmp

  462        hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/f1


此时己经生成了表t8 
注意,如果数据特别大,而表中原来就有region,那么会执行切分工作,查找数据对应的region并装载 

        程序使用中注意: 
1 因为是执行hadoop程序,不会自动查找hbase的config路径,也就找不到hbase的环境变量。因此需要将hbase-site.xml加入到hadoop-conf变量中 
2 还需要将hbase/lib中的jar包放入classpath中 
3 执行以上的步骤2时需要将zookeeper的配置写入core-site.xml中,因为在那一步时甚至不会读取hbase-site.xml,否则会连不上zookeeper

更多精彩内容请关注:http://bbs.superwu.cn

关注超人学院微信二维码:

 

关注超人学院java免费学习交流群:

© 著作权归作者所有

上一篇: solr查询索引
超人学院
粉丝 114
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
私信 提问
HBase 写优化之 BulkLoad 实现数据快速入库

1、为何要 BulkLoad 导入?传统的 HTableOutputFormat 写 HBase 有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式,在reduce中直接生成...

大数据之路
2013/12/25
9.9K
1
利用BulkLoad导入Hbase表

1、插入HBase表传统方法具有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是TableOutputFormat方式,在map/reduce中直接生成put对象写入HBase,该方式在大量数据...

混绅士
2018/06/28
0
0
Apache HBase 2015 年发展回顾与未来展望

编者按:高可用架构推出 2015 年度回顾系列文章,分享在架构领域具有典型意义的年度案例,本文由张虔熙分享。转载请注明来自高可用架构公众号「ArchNotes」。 张虔熙,Hulu 网,专注于分布式...

oschina
2016/01/05
3.5K
4
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch

使用Hbase协作器(Coprocessor)同步数据到ElasticSearch 最近项目中需要将Hbase中的数据同步到ElasticSearch中,需求就是只要往Hbase里面put或者delete数据,那么ES集群中,相应的索引下,也需...

xtof
2018/11/09
45
0
Spark:DataFrame生成HFile 批量导入Hbase

批量加载-Bulk Load 在工作过程中有个需求,需要将DataFrame的数据保存进Hbase,并且在Spark集群并没有安装Hbase,此时对于常规的使用put将DataFrame加载进Hbase的方式不在适用,一方面是没有H...

利伊奥克儿
2018/10/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CSS--列表

一、列表标识项 list-style-type none:去掉标识项 disc:默认实心圆 circle:空心圆 squire:矩形 二、列表项图片 list-style-img: 取值:url(路径) 三、列表项位置 list-style-position:...

wytao1995
今天
10
0
linux 命令-文本比较comm、diff、patch

本文原创首发于公众号:编程三分钟 今天学了三个文本比较的命令分享给大家。 comm comm 命令比较相同的文本 $ cat charabc$ cat chardiffadc 比如,我有两个文件char和chardiff如上,...

编程三分钟
今天
9
0
QML教程

https://blog.csdn.net/qq_40194498/article/category/7580030 https://blog.csdn.net/LaineGates/article/details/50887765...

shzwork
今天
7
0
HA Cluster之5

对于使用heartbeat v2版的CRM配置的集群信息都是保存在一个名为cib.xml的配置文件中,存放在/var/lib/heartbeat/crm/下。CIB:Cluster Information Base,由于xml文件配置不是那么方便,所以...

lhdzw
今天
10
0
玩转Redis-Redis基础数据结构及核心命令

  《玩转Redis》系列文章主要讲述Redis的基础及中高级应用,文章基于Redis5.0.4+。本文主要讲述Redis的数据结构String,《玩转Redis-Redis基础数据结构及核心命令》相关操作命令为方便对比...

zxiaofan666
今天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部