加载中
HBase scan setBatch和setCaching的区别

HBase的查询实现只提供两种方式: 1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get) 2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.cli...

2017/05/21 10:08
66
HBase shell 中的十六进制数值表示

在使用Hbase shell 进行get 或scan操作时,时不时会看到一些数值被转成了16进制, 就像下面那样 value=W\x5C5\x80 那么这个值具体等于多少? 查阅资料后发现算法如下 W -> W的ASCII码16进制 为 ...

2018/02/01 09:11
236
测试Hbase 表映射成 Hive表查询效率

一、准备工作: 1、编写程序将1000万条数据写到Hbase表中; 2、将对应的Hbase表映射成Hive表。 在Hive 的shell中执行类似如下的命令 hive> CREATE EXTERNAL TABLE IF NOT EXISTS t_hbase_p...

2018/01/30 11:40
30
HBase总结(4)--数据扫描与Scan对象

一、介绍 Put、Delete与Get对象都是Row的子类,从该继承关系中我们就可以了解到Get、Delete与Pu对象本身就只能进行单行的操作,HBase客户端还提供了一套能够进行全表扫描的API,方便用户能够...

2017/12/25 19:07
14
Hbase源码分析:Hbase UI中Requests Per Second的具体含义

让运维加监控,被问到Requests Per Second(见下图)的具体含义是什么?我一时竟回答不上来,虽然大概知道它是指每秒Region Server的请求数,但是具体是怎么算的呢,不清楚。于是决定通过研究...

2017/09/26 11:32
34
hbase的cache与batch的理解

cache: 在默认情况下,如果你需要从hbase中查询数据,在获取结果ResultScanner时,hbase会在你每次调用ResultScanner.next()操作时对返回的每个Row执行一次RPC操作。即使你使用ResultSca...

2017/09/22 09:35
11
hbase-shell批量命令执行脚本

#!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create 't...

2017/08/02 11:25
69
避免regionServer宕机

因为regionserver 的管理信息主要记录在zookeeper,regionserver的宕机判断依据是session expired。ok 那么regionserver 和Zookeeper的session expired原因有哪些尼? 1. 网络不好。 2. Jav...

2017/06/27 09:10
16
hbase shell命令扩展

也许你还不清楚我在说什么,看一下下面的截图你就明白了: 好吧,如果您感兴趣,可以继续看下去了。 Hbase是以字节数组的形式存储数据的,当你直接用API或通过hbase 自带的shell端去查询数据...

2017/06/10 10:38
83
Hbase中checkAndPut操作

Hbase中Insert和Update操作没有明显的差别。 如果误操作,是否可以恢复数据? 方法:通过timeStamp找回数据。 但是,如果我们可以在源头实现,是否更好呢? 问题: 客户端1: row1: family...

2017/06/06 09:05
70
HBase原子性保证

HBase提供基于单行数据操作的原子性保证 即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态 示例: A客户端针对rowkey=10的...

2017/06/06 08:57
16
[How to]HBase集群备份方法--Replication机制

1.简介   HBase备份的方法在[How to]HBase集群备份方法文章中已经有些介绍,但是这些方法都不是HBase本身的特性在支持,都是通过MR计算框架结合HBase客户端的方式,或者直接拷贝HBase的底层...

2017/05/30 10:24
142
hbase客户端源码分析调用

—client 的调用流程 delete 数据的流程.(table.delete(deleteColumn);) (源码基于Hbase-1.1.5版本) HTable table = new HTable(conf, Bytes.toBytes(tableName)); 1 1 HTable 对象创建时...

2017/05/28 10:23
34
HBase Replication源码解析之HLog读取

在HRegionServer中两个量和replication相关,如下所示: [java] view plain copy //Replication services. if no replication, this handler will be null protected ReplicationSourceServi...

2017/05/28 09:07
16
用 Ganglia 监控基于 Biginsights 的 HBase 集群性能

BigInsights 和 HBase 简介 InfoSphere BigInsights 是 IBM 集成和开发的一个大数据分析平台,同时具备可视化的管理界面。它能够帮助企业从海量的数据集中挖掘出潜在的商业价值,基于这些信息...

2017/05/19 17:40
25
Google 的开源技术protobuf 简介与例子

今天来介绍一下“Protocol Buffers ”(以下简称protobuf)这个玩意儿。本来俺在构思“生产者/消费者模式 ”系列的下一个帖子:关于生产者和消费者之间的数据传输格式。由于里面扯到了proto...

2017/05/16 09:59
10
HBASE RPC 源码实现及解析

HBASE RPC 详细解析 注:下面的图是作者随便画的,不怎么严格,大家能看懂就好。 由于篇幅所限,本文只是大略的讲解了一下RPC所涉及到的大概模块,较为模糊,有兴趣者可以继续深挖 RPC(远程...

2017/05/16 09:49
82
hbase meta表修复

meta表修复一 Java代码 查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表) hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver(根据...

2017/05/05 09:18
50
hbase删除表失败的解决方法

可以通过下面步骤解决下面的问题: 首先确认在hdfs中表文件已经删除掉了,可以通过下面命令确认: hadoop fs -ls /hbase/ 然后删除表的hdfs文件: hadoop fs -mv /hbase/<table_name> /tmp 最...

2017/05/05 09:04
72
深入理解HBase Indexer

1. 简介 Hbase Indexer全名为Lily Hbase Indexer,是NGDATA公司为了将lily子系统里面相关HBase数据存储到Solr而开发的一个软件。NGDATA公司将源代码开源并托管在Github上,通过以下Github地址...

2017/04/17 16:07
48

没有更多内容

加载失败,请刷新页面

返回顶部
顶部