文档章节

HBase原子性保证

Zero零_度
 Zero零_度
发布于 2017/06/06 08:57
字数 891
阅读 37
收藏 0

HBase提供基于单数据操作的原子性保证

即:对同一行的变更操作(包括针对一列/多列/多column family的操作),要么完全成功,要么完全失败,不会有其他状态
示例:
A客户端针对rowkey=10的行发起操作:dim1:a = 1  dim2:b=1
B客户端针对rowkey=10的行发起操作:dim1:a = 2  dim2:b=2
dim1、dim2为column family, a、b为column

A客户端和B客户端同时发起请求,最终rowkey=10的行各个列的值可能是dim1:a = 1  dim2:b=1,也可能是dim1:a = 2  dim2:b=2
但绝对不会是dim1:a = 1  dim2:b=2

HBase基于行锁来保证单行操作的原子性,可以看下HRegion put的代码(base: HBase 0.94.20)::
org.apache.hadoop.hbase.regionserver.HRegion:

[java] view plain copy

  1.   /** 
  2.    * @param put 
  3.    * @param lockid 
  4.    * @param writeToWAL 
  5.    * @throws IOException 
  6.    * @deprecated row locks (lockId) held outside the extent of the operation are deprecated. 
  7.    */  
  8.   public void put(Put put, Integer lockid, boolean writeToWAL)  
  9.   throws IOException {  
  10.     checkReadOnly();  
  11.   
  12.   
  13.     // Do a rough check that we have resources to accept a write.  The check is  
  14.     // 'rough' in that between the resource check and the call to obtain a  
  15.     // read lock, resources may run out.  For now, the thought is that this  
  16.     // will be extremely rare; we'll deal with it when it happens.  
  17.     checkResources();  
  18.     startRegionOperation();  
  19.     this.writeRequestsCount.increment();  
  20.     this.opMetrics.setWriteRequestCountMetrics(this.writeRequestsCount.get());  
  21.     try {  
  22.       // We obtain a per-row lock, so other clients will block while one client  
  23.       // performs an update. The read lock is released by the client calling  
  24.       // #commit or #abort or if the HRegionServer lease on the lock expires.  
  25.       // See HRegionServer#RegionListener for how the expire on HRegionServer  
  26.       // invokes a HRegion#abort.  
  27.       byte [] row = put.getRow();  
  28.       // If we did not pass an existing row lock, obtain a new one  
  29.       Integer lid = getLock(lockid, row, true);  
  30.   
  31.   
  32.       try {  
  33.         // All edits for the given row (across all column families) must happen atomically.  
  34.         internalPut(put, put.getClusterId(), writeToWAL);  
  35.       } finally {  
  36.         if(lockid == null) releaseRowLock(lid);  
  37.       }  
  38.     } finally {  
  39.       closeRegionOperation();  
  40.     }  
  41.   }  

getLock调用了internalObtainRowLock:

[java] view plain copy

  1. private Integer internalObtainRowLock(final HashedBytes rowKey, boolean waitForLock)  
  2.      throws IOException {  
  3.    checkRow(rowKey.getBytes(), "row lock");  
  4.    startRegionOperation();  
  5.    try {  
  6.      CountDownLatch rowLatch = new CountDownLatch(1);  
  7.   
  8.      // loop until we acquire the row lock (unless !waitForLock)  
  9.      while (true) {  
  10.        CountDownLatch existingLatch = lockedRows.putIfAbsent(rowKey, rowLatch);  
  11.        if (existingLatch == null) {  
  12.          break;  
  13.        } else {  
  14.          // row already locked  
  15.          if (!waitForLock) {  
  16.            return null;  
  17.          }  
  18.          try {  
  19.            if (!existingLatch.await(this.rowLockWaitDuration,  
  20.                            TimeUnit.MILLISECONDS)) {  
  21.              throw new IOException("Timed out on getting lock for row=" + rowKey);  
  22.            }  
  23.          } catch (InterruptedException ie) {  
  24.            // Empty  
  25.          }  
  26.        }  
  27.      }  
  28.   
  29.      // loop until we generate an unused lock id  
  30.      while (true) {  
  31.        Integer lockId = lockIdGenerator.incrementAndGet();  
  32.        HashedBytes existingRowKey = lockIds.putIfAbsent(lockId, rowKey);  
  33.        if (existingRowKey == null) {  
  34.          return lockId;  
  35.        } else {  
  36.          // lockId already in use, jump generator to a new spot  
  37.          lockIdGenerator.set(rand.nextInt());  
  38.        }  
  39.      }  
  40.    } finally {  
  41.      closeRegionOperation();  
  42.    }  
  43.  }  

HBase行锁的实现细节推荐下:hbase源码解析之行锁  

HBase也提供API(lockRow/unlockRow)显示的获取行锁,但不推荐使用。原因是两个客户端很可能在拥有对方请求的锁时,又同时请求对方已拥有的锁,这样便形成了死锁,在锁超时前,两个被阻塞的客户端都会占用一个服务端的处理线程,而服务器线程是非常稀缺的资源

HBase提供了几个特别的原子操作接口:
 checkAndPut/checkAndDelete/increment/append,这几个接口非常有用,内部实现也是基于行锁
checkAndPut/checkAndDelete内部调用代码片段:

[java] view plain copy

  1. // Lock row  
  2. Integer lid = getLock(lockId, get.getRow(), true);  
  3. ......  
  4. // get and compare  
  5. try {  
  6.   result = get(get, false);  
  7.   ......  
  8.   //If matches put the new put or delete the new delete  
  9.   if (matches) {  
  10.     if (isPut) {  
  11.       internalPut(((Put) w), HConstants.DEFAULT_CLUSTER_ID, writeToWAL);  
  12.     } else {  
  13.       Delete d = (Delete)w;  
  14.       prepareDelete(d);  
  15.       internalDelete(d, HConstants.DEFAULT_CLUSTER_ID, writeToWAL);  
  16.     }  
  17.     return true;  
  18.   }  
  19.   return false;  
  20. } finally {  
  21.   // release lock  
  22.   if(lockId == null) releaseRowLock(lid);  
  23. }  

实现逻辑:加锁=>get=>比较=>put/delete

checkAndPut在实际应用中非常有价值,我们线上生成Dpid的项目,多个客户端会并行生成DPID,如果有一个客户端已经生成了一个DPID,则其他客户端不能生成新的DPID,只能获取该DPID
代码片段:

[java] view plain copy

  1. ret = hbaseUse.checkAndPut("bi.dpdim_mac_dpid_mapping", mac, "dim",  
  2.         "dpid", null, dpid);  
  3. if(false == ret){  
  4.     String retDpid = hbaseUse.query("bi.dpdim_mac_dpid_mapping", mac, "dim", "dpid");  
  5.     if(!retDpid.equals(ABNORMAL)){  
  6.         return retDpid;  
  7.     }  
  8. }else{  
  9.     columnList.add("mac");  
  10.     valueList.add(mac);  
  11. }  

 

checkAndPut详细试用可以参考: HBaseEveryDay_Atomic_compare_and_set  

Reference:
HBase - Apache HBase (TM) ACID Properties
hbase源码解析之行锁  
Hbase权威指南
HBaseEveryDay_Atomic_compare_and_set  

本文转载自:http://blog.csdn.net/yfkiss/article/details/36438855

Zero零_度
粉丝 69
博文 1267
码字总数 263854
作品 0
程序员
私信 提问
如何解决分布式系统数据事务一致性问题

一、关于分布式系统事务一致性问题 Java 中有三种可以的事务模型,分别称作本地事务模型(Local Transaction Model),编程式事务模型(Programmatic Transaction Model),和声明式事务模型...

hblt-j
2018/12/13
50
0
分布式数据库HBase的架构设计详解

本文根据DBAplus社群第99期线上分享整理而成。 讲师介绍 主题简介: 1、传统数据库回顾 2、分布式基础理论 3、HBase特征 4、HBase底层架构 5、HBase设计要点 近些年来,各种互联网+的公司如雨...

陈鸿威
2017/05/15
0
0
Hbase Schema 模型设计注意事项及示例

一、Hbase 数据模型概述 HBase的数据模型也是由表组成,每一张表里也有数据行和列,但是在HBase数据库中的行和列又和关系型数据库的稍有不同。 表(Table): HBase会将数据组织成一张表,表名必...

PeakFang-BOK
2018/10/21
176
0
HBase 二级索引与 Join

二级索引与索引Join是Online业务系统要求存储引擎提供的基本特性。RDBMS支持得比较好,NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来探讨如何基于Hbase构建...

红薯
2011/10/18
5.4K
1
HBase原理之HBase MetaStore&Compaction剖析

1.概述 客户端读写数据是先从HBase Clienr获取RegionServer的元数据信息,比如Region地址信息。在执行数据写操作时,HBase会先写MetaStore,为什么会写到MetaStore。本篇文章将为读者剖析HBa...

HBase技术社区
2018/09/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

前端技术之:Prisma Demo服务部署过程记录

安装前提条件: 1、已经安装了docker运行环境 2、以下命令执行记录发生在MackBook环境 3、已经安装了PostgreSQL(我使用的是11版本) 4、Node开发运行环境可以正常工作 首先需要通过Node包管...

popgis
今天
5
0
数组和链表

数组 链表 技巧一:掌握链表,想轻松写出正确的链表代码,需要理解指针获引用的含义: 对指针的理解,记住下面的这句话就可以了: 将某个变量赋值给指针,实际上就是将这个变量的地址赋值给指...

code-ortaerc
今天
4
0
栈-链式(c/c++实现)

上次说“栈是在线性表演变而来的,线性表很自由,想往哪里插数据就往哪里插数据,想删哪数据就删哪数据...。但给线性表一些限制呢,就没那么自由了,把线性表的三边封起来就变成了栈,栈只能...

白客C
今天
43
0
Mybatis Plus service

/** * @author beth * @data 2019-10-20 23:34 */@RunWith(SpringRunner.class)@SpringBootTestpublic class ServiceTest { @Autowired private IUserInfoService iUserInfoS......

一个yuanbeth
今天
5
0
php7-internal 7 zval的操作

## 7.7 zval的操作 扩展中经常会用到各种类型的zval,PHP提供了很多宏用于不同类型zval的操作,尽管我们也可以自己操作zval,但这并不是一个好习惯,因为zval有很多其它用途的标识,如果自己...

冻结not
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部