文档章节

hbase0.98暴力数据迁移方案

CainGao
 CainGao
发布于 2016/02/17 17:13
字数 390
阅读 1348
收藏 2

公司测试环境使用三台机器搭建了一个简单的集群,内存小,网速慢而且还是虚机.但是测试的时候还是保存了大量的数据.但是由于一些其他原因,造成数据只能在测试环境生成,不能在线上直接生成数据.所以就需要把数据从测试环境把数据导入到线上的HBase环境

    刚开始使用了HBase的Export与Import 的方式来做导出.

    好吧,虚机几百万的数据,总是失败..一直都是在报错误,找了好久都没找到原因.没办法只有想别的方法.

    折腾了两天搞定了导出的方式.


    1.    关闭HBase集群.

    2.    Hadoop上找到要导出的HBase表路径  如: 我的路径为:  /hbase/data/default/test

        

    3.    从Hadoop把项目导入到本地环境

        

    4.    然后通过硬盘或者其他把数据发送到另一套环境的hadoop HBase文件目录下. hbase/dta/default/test/   (HBase环境同样需要关闭,)

    5.    如果另一套也存在该表..(那我就不知道了,我当时是把那套环境的数据导出的.)

    6.    打开Hbase,现在就就可以在HBase shell命令下看到该表了.

    7.    执行    

hbase hbck -fixMeta

    8.    如果依然无法操作表.那么就执行

    

hbase hbck -fixAssignments(重新分区)

  

  大功告成    !


© 著作权归作者所有

CainGao
粉丝 29
博文 9
码字总数 6828
作品 0
昌平
程序员
私信 提问
加载中

评论(5)

CainGao
CainGao

引用来自“panLucky”的评论

不关闭集群,利用copyToLocal导出,在利用copyFromLocal导入到目的集群,会影响导入结果么?会影响目的集群中正常访问数据么?
不关闭集群的意义是什么? 如果是还存在CRUD操作.那么肯定会有影响啊.如果不存在这些操作的话,正常情况下不会出问题.建议实际的测试一下..
p
panLucky
不关闭集群,利用copyToLocal导出,在利用copyFromLocal导入到目的集群,会影响导入结果么?会影响目的集群中正常访问数据么?
jasonkavay
jasonkavay

引用来自“CainGao”的评论

引用来自“jasonkavay”的评论

分享的很不错哦,受教了!建议把文章链接也发在我们的产品 同行说这个app上面,上面很多程序员用来看干货

赶紧改bug去吧.还分享啥...进都进不去!
是安卓端还是iOS端?能详细说一下么?
CainGao
CainGao

引用来自“jasonkavay”的评论

分享的很不错哦,受教了!建议把文章链接也发在我们的产品 同行说这个app上面,上面很多程序员用来看干货

赶紧改bug去吧.还分享啥...进都进不去!
jasonkavay
jasonkavay
分享的很不错哦,受教了!建议把文章链接也发在我们的产品 同行说这个app上面,上面很多程序员用来看干货
Hbase0.98 的observer coprocessor

@磊_子 你好,想跟你请教个问题: 你做过Hbase0.98 的observer coprocessor的demo吗?能不能分享下?困惑中呢。。。呵呵

Starseve
2015/07/02
74
1
Spark中将对象序列化存储到hdfs

废话不多说, 直接贴代码了. spark1.4 + hbase0.98 import org.apache.spark.storage.StorageLevelimport scala.collection.JavaConverters._import java.io.Fileimport java.io.FileInputStr......

小水熊
2015/11/03
0
0
【译】Swift算法俱乐部-算法设计技巧

本文是对 Swift Algorithm Club 翻译的一篇文章。 Swift Algorithm Club是 raywenderlich.com网站出品的用Swift实现算法和数据结构的开源项目,目前在GitHub上有18000+⭐️,我初略统计了一下...

Andy_Ron
2018/09/16
0
0
phoenix——编译phoenix用于CDH平台

phoenix目前官网只适配原生的hbase和hadoop,强行用在cdh的hbase上会报错。而cloudera公司目前还没有适配phoenix,还在cdh labs中孵化,而且版本也是比较低的版本。所以需要自己编译phoenix...

cjun1990
2016/06/01
46
0
hbase0.98 coprocessor Endpoint 之 HelloWorld

介绍: 源博地址: http://www.cockybook.com/?p=35 HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hb...

_Leo_
2014/05/15
0
4

没有更多内容

加载失败,请刷新页面

加载更多

面试题:你简历中写到熟悉Spring源码,那你给我说说它用到了那些设计模式?

Spring作为业界的经典框架,无论是在架构设计方面,还是在代码编写方面,都堪称行内典范。好了,话不多说,开始今天的内容。 spring中常用的设计模式达到九种。 模板方法(Template Method)...

我最喜欢三大框架
12分钟前
0
0
Sentinel Dashboard中修改规则同步到Nacos

上一篇我们介绍了如何通过改造Sentinel Dashboard来实现修改规则之后自动同步到Apollo。下面通过这篇,详细介绍当使用Nacos作为配置中心之后,如何实现Sentinel Dashboard中修改规则同步到N...

程序猿DD
18分钟前
3
0
Jenkins发送测试报告邮件

简介:总结怎么使用Jenkins执行自动化测试后发送测试报告邮件 一、系统设置 1、在Jenkins安装Email Extension Plugin插件,如下图: 2、设置Extended E-mail Notification (1)进入“系统管理”...

shzwork
21分钟前
0
0
状态模式

//相当把一个State对象存到Context对象中,然后通过Context实例化对象调用保存的state对象去调用state的相应的方法 https://blog.csdn.net/syc434432458/article/details/51210361...

南桥北木
32分钟前
3
0
基于 Jenkins + JaCoCo 实现功能测试代码覆盖率统计

本文首发于:Jenkins 中文社区 使用 JaCoCo 统计功能测试代码覆盖率? 对于 JaCoCo,有所了解但又不是很熟悉。 "有所了解"指的是在 CI 实践中已经使用 JaCoCo 对单元测试代码覆盖率统计: 当...

Jenkins中文社区
40分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部