文档章节

CompleteBulkLoad

Yulong_
 Yulong_
发布于 2017/03/06 21:13
字数 196
阅读 62
收藏 0

#CompleteBulkLoad

completebulkload功能是将是将StoreFiles移动到Hbase表中,一般先通过importtsv生成StoreFiles.

##生成StoreFiles

两种方式生成文件 ###Explicit Classname $ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,f:q1,c <options> -Dimporttsv.bulk.output=hdfs://storefileoutput <tablename> <hdfs-inputdir>

###Driver $ HADOOP_CLASSPATH=hbase classpath hadoop jar ${HBASE_HOME}/lib/hbase-server-<version>.jar importtsv <options> -Dimporttsv.bulk.output=hdfs://storefileoutput <tablename> <hdfs-inputdir>

##使用

两种方式来使用这个功能 ###Explicit Classname $ hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://storefileoutput <tablename> ###Driver HADOOP_CLASSPATH=hbase classpath hadoop jar ${HBASE_HOME}/hbase-server-VERSION.jar completebulkload hdfs://storefileoutput <tablename>

##例子 ###文件

$ hadoop fs -cat /hbasetest/test.txt
1|value1|valueq1
2|value2|valueq2

###hbase表

$ hbase shell
create 'htable','f'

###生成StoreFiles文件 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv '-Dimporttsv.columns=HBASE_ROW_KEY,f:q1,f:q2' '-Dimporttsv.separator=|' -Dimporttsv.skip.bad.lines=false -Dimporttsv.bulk.output=/hbasetest/testbulk htable /hbasetest/test.txt ###执行导入值Hbase表
hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /hbasetest/testbulk htable

© 著作权归作者所有

上一篇: flume-ng学习
下一篇: htable recreate
Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
hbase在yarn上运行rowcounter,mapper数怎么一直是1,集群有4个节点

大家好, 我在hadoop yarn上运行hbase自带的rowcounter,做行数统计,使用importtsv导入数据到hbase中,然后使用rowcounter进行行数统计。大表有500GB,集群有4个节点,但是运行后mapper数目...

nicolebb
2014/10/21
1K
0
用MapReduce 向Hbase 中插入数据

首先要保证hbase中有要插入的表 package hbasemapperreduce; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.io.LongW......

xiaozhou18
2016/12/04
125
0
利用BulkLoad导入Hbase表

1、插入HBase表传统方法具有什么问题? 我们先看下 HBase 的写流程: 通常 MapReduce 在写HBase时使用的是TableOutputFormat方式,在map/reduce中直接生成put对象写入HBase,该方式在大量数据...

混绅士
2018/06/28
0
0
bulk-load装载hdfs数据到hbase小结

bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中,对于海量数据装载入hbase非常有用,参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html: hbase提供了现成...

超人学院
2015/06/01
95
0
HBase基本知识

概述 HBase 特性: 强一致性读写: HBase 不是 "最终一致性(eventually consistent)" 数据存储. 这让它很适合高速计数聚合类任务。 自动分片(Automatic sharding): HBase 表通过region分布在集...

Adel
2016/05/30
90
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部