文档章节

HBase内置过滤器的一些总结

Zero零_度
 Zero零_度
发布于 2016/12/22 08:42
字数 2079
阅读 14
收藏 0

Hbase为筛选数据提供了一组过滤器,通过这个过滤器可以在HBase中的数据的多个维度(行,列,数据版本)上进行对数据的筛选操作,也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上(由行键,列明,时间戳定位)。通常来说,通过行键,值来筛选数据的应用场景较多。

 

1. RowFilter:筛选出匹配的所有的行,对于这个过滤器的应用场景,是非常直观的:使用BinaryComparator可以筛选出具有某个行键的行,或者通过改变比较运算符(下面的例子中是CompareFilter.CompareOp.EQUAL)来筛选出符合某一条件的多条数据,以下就是筛选出行键为row1的一行数据:

 

 

[java] view plain copy

  1. Filter rf = new RowFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("row1"))); // OK 筛选出匹配的所有的行  


2. PrefixFilter:筛选出具有特定前缀的行键的数据。这个过滤器所实现的功能其实也可以由RowFilter结合RegexComparator来实现,不过这里提供了一种简便的使用方法,以下过滤器就是筛选出行键以row为前缀的所有的行:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter pf = new PrefixFilter(Bytes.toBytes("row")); // OK  筛选匹配行键的前缀成功的行  


3. KeyOnlyFilter:这个过滤器唯一的功能就是只返回每行的行键,值全部为空,这对于只关注于行键的应用场景来说非常合适,这样忽略掉其值就可以减少传递到客户端的数据量,能起到一定的优化作用:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter kof = new KeyOnlyFilter(); // OK 返回所有的行,但值全是空  


4. RandomRowFilter:从名字上就可以看出其大概的用法,本过滤器的作用就是按照一定的几率(<=0会过滤掉所有的行,>=1会包含所有的行)来返回随机的结果集,对于同样的数据集,多次使用同一个RandomRowFilter会返回不通的结果集,对于需要随机抽取一部分数据的应用场景,可以使用此过滤器:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter rrf = new RandomRowFilter((float) 0.8); // OK 随机选出一部分的行  


5. InclusiveStopFilter:扫描的时候,我们可以设置一个开始行键和一个终止行键,默认情况下,这个行键的返回是前闭后开区间,即包含起始行,单不包含中指行,如果我们想要同时包含起始行和终止行,那么我们可以使用此过滤器:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter isf = new InclusiveStopFilter(Bytes.toBytes("row1")); // OK 包含了扫描的上限在结果之内  


6. FirstKeyOnlyFilter:如果你只想返回的结果集中只包含第一列的数据,那么这个过滤器能够满足你的要求。它在找到每行的第一列之后会停止扫描,从而使扫描的性能也得到了一定的提升:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter fkof = new FirstKeyOnlyFilter(); // OK 筛选出第一个每个第一个单元格  


7. ColumnPrefixFilter:顾名思义,它是按照列名的前缀来筛选单元格的,如果我们想要对返回的列的前缀加以限制的话,可以使用这个过滤器:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter cpf = new ColumnPrefixFilter(Bytes.toBytes("qual1")); // OK 筛选出前缀匹配的列  


8. ValueFilter:按照具体的值来筛选单元格的过滤器,这会把一行中值不能满足的单元格过滤掉,如下面的构造器,对于每一行的一个列,如果其对应的值不包含ROW2_QUAL1,那么这个列就不会返回给客户端:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter vf = new ValueFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("ROW2_QUAL1")); // OK 筛选某个(值的条件满足的)特定的单元格  


9. ColumnCountGetFilter:这个过滤器来返回每行最多返回多少列,并在遇到一行的列数超过我们所设置的限制值的时候,结束扫描操作:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter ccf = new ColumnCountGetFilter(2); // OK 如果突然发现一行中的列数超过设定的最大值时,整个扫描操作会停止  


10. SingleColumnValueFilter:用一列的值决定这一行的数据是否被过滤。在它的具体对象上,可以调用setFilterIfMissing(true)或者setFilterIfMissing(false),默认的值是false,其作用是,对于咱们要使用作为条件的列,如果这一列本身就不存在,那么如果为true,这样的行将会被过滤掉,如果为false,这样的行会包含在结果集中。

 

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. SingleColumnValueFilter scvf = new SingleColumnValueFilter(  
  2.         Bytes.toBytes("colfam1"),   
  3.         Bytes.toBytes("qual2"),   
  4.         CompareFilter.CompareOp.NOT_EQUAL,   
  5.         new SubstringComparator("BOGUS"));  
  6. scvf.setFilterIfMissing(false);  
  7. scvf.setLatestVersionOnly(true); // OK  


11. SingleColumnValueExcludeFilter:这个与10种的过滤器唯一的区别就是,作为筛选条件的列的不会包含在返回的结果中。

 

12. SkipFilter:这是一种附加过滤器,其与ValueFilter结合使用,如果发现一行中的某一列不符合条件,那么整行就会被过滤掉:

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter skf = new SkipFilter(vf); // OK 发现某一行中的一列需要过滤时,整个行就会被过滤掉  


13. WhileMatchFilter:这个过滤器的应用场景也很简单,如果你想要在遇到某种条件数据之前的数据时,就可以使用这个过滤器;当遇到不符合设定条件的数据的时候,整个扫描也就结束了:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. Filter wmf = new WhileMatchFilter(rf); // OK 类似于Python itertools中的takewhile  


14. FilterList:用于综合使用多个过滤器。其有两种关系:FilterList.Operator.MUST_PASS_ONE和FilterList.Operator.MUST_PASS_ALL,默认的是FilterList.Operator.MUST_PASS_ALL,顾名思义,它们分别是AND和OR的关系,并且FilterList可以嵌套使用FilterList,使我们能够表达更多的需求:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. List<Filter> filters = new ArrayList<Filter>();  
  2. filters.add(rf);  
  3. filters.add(vf);  
  4. FilterList fl = new FilterList(FilterList.Operator.MUST_PASS_ALL, filters); // OK 综合使用多个过滤器, AND 和 OR 两种关系  


以上,是对于HBase内置的过滤器的部分总结,以下代码是数据写入代码:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. package com.reyun.hbase;  
  2.   
  3. import java.io.IOException;  
  4. import org.apache.hadoop.conf.Configuration;  
  5. import org.apache.hadoop.hbase.HBaseConfiguration;  
  6. import org.apache.hadoop.hbase.client.HTable;  
  7. import org.apache.hadoop.hbase.client.Put;  
  8. import org.apache.hadoop.hbase.util.Bytes;  
  9.   
  10. public class HBaseDataFeeding {  
  11.     private final static byte[] ROW1 = Bytes.toBytes("row1");  
  12.     private final static byte[] ROW2 = Bytes.toBytes("row2");  
  13.     private final static byte[] COLFAM1 = Bytes.toBytes("colfam1");  
  14.     private final static byte[] COLFAM2 = Bytes.toBytes("colfam2");  
  15.     private final static byte[] QUAL1 = Bytes.toBytes("qual1");  
  16.     private final static byte[] QUAL2 = Bytes.toBytes("qual2");  
  17.       
  18.       
  19.     public static void main(String[] args) throws IOException {  
  20.         Configuration conf = HBaseConfiguration.create();  
  21.         HTable table = new HTable(conf, "testtable");  
  22.         table.setAutoFlushTo(false);  
  23.         Put put_row1 = new Put(ROW1);  
  24.         put_row1.add(COLFAM1, QUAL1, Bytes.toBytes("ROW1_QUAL1_VAL"));  
  25.         put_row1.add(COLFAM1, QUAL2, Bytes.toBytes("ROW1_QUAL2_VAL"));  
  26.           
  27.         Put put_row2 = new Put(ROW2);  
  28.         put_row2.add(COLFAM1, QUAL1, Bytes.toBytes("ROW2_QUAL1_VAL"));  
  29.         put_row2.add(COLFAM1, QUAL2, Bytes.toBytes("ROW2_QUAL2_VAL"));  
  30.           
  31.         try{  
  32.             table.put(put_row1);  
  33.             table.put(put_row2);  
  34.         }finally{  
  35.             table.close();  
  36.         }  
  37.     }  
  38.   
  39. }  


以下是过滤器测试代码,可以通过修改代码,更换过滤器来看到具体的效果:

 

 

[java] view plain copy

 在CODE上查看代码片派生到我的代码片

  1. package com.reyun.hbase;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6.   
  7. import org.apache.hadoop.conf.Configuration;  
  8. import org.apache.hadoop.hbase.Cell;  
  9. import org.apache.hadoop.hbase.CellUtil;  
  10. import org.apache.hadoop.hbase.HBaseConfiguration;  
  11. import org.apache.hadoop.hbase.client.HTable;  
  12. import org.apache.hadoop.hbase.client.Result;  
  13. import org.apache.hadoop.hbase.client.ResultScanner;  
  14. import org.apache.hadoop.hbase.client.Scan;  
  15. import org.apache.hadoop.hbase.filter.BinaryComparator;  
  16. import org.apache.hadoop.hbase.filter.ColumnCountGetFilter;  
  17. import org.apache.hadoop.hbase.filter.ColumnPrefixFilter;  
  18. import org.apache.hadoop.hbase.filter.CompareFilter;  
  19. import org.apache.hadoop.hbase.filter.Filter;  
  20. import org.apache.hadoop.hbase.filter.FilterList;  
  21. import org.apache.hadoop.hbase.filter.FirstKeyOnlyFilter;  
  22. import org.apache.hadoop.hbase.filter.InclusiveStopFilter;  
  23. import org.apache.hadoop.hbase.filter.KeyOnlyFilter;  
  24. import org.apache.hadoop.hbase.filter.PageFilter;  
  25. import org.apache.hadoop.hbase.filter.PrefixFilter;  
  26. import org.apache.hadoop.hbase.filter.RandomRowFilter;  
  27. import org.apache.hadoop.hbase.filter.RowFilter;  
  28. import org.apache.hadoop.hbase.filter.SkipFilter;  
  29. import org.apache.hadoop.hbase.filter.ValueFilter;  
  30. import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;  
  31. import org.apache.hadoop.hbase.filter.SubstringComparator;  
  32. import org.apache.hadoop.hbase.filter.WhileMatchFilter;  
  33. import org.apache.hadoop.hbase.util.Bytes;  
  34.   
  35. public class HBaseScannerTest {  
  36.   
  37.     public static void main(String[] args) throws IOException, IllegalAccessException {  
  38.         Configuration conf = HBaseConfiguration.create();  
  39.         HTable table = new HTable(conf, "testtable");  
  40.         table.setAutoFlushTo(false);  
  41.           
  42.         Scan scan1 = new Scan();  
  43.         SingleColumnValueFilter scvf = new SingleColumnValueFilter(  
  44.                 Bytes.toBytes("colfam1"),   
  45.                 Bytes.toBytes("qual2"),   
  46.                 CompareFilter.CompareOp.NOT_EQUAL,   
  47.                 new SubstringComparator("BOGUS"));  
  48.         scvf.setFilterIfMissing(false);  
  49.         scvf.setLatestVersionOnly(true); // OK  
  50.         Filter ccf = new ColumnCountGetFilter(2); // OK 如果突然发现一行中的列数超过设定的最大值时,整个扫描操作会停止  
  51.         Filter vf = new ValueFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("ROW2_QUAL1")); // OK 筛选某个(值的条件满足的)特定的单元格  
  52.         Filter cpf = new ColumnPrefixFilter(Bytes.toBytes("qual2")); // OK 筛选出前缀匹配的列  
  53.         Filter fkof = new FirstKeyOnlyFilter(); // OK 筛选出第一个每个第一个单元格  
  54.         Filter isf = new InclusiveStopFilter(Bytes.toBytes("row1")); // OK 包含了扫描的上限在结果之内  
  55.         Filter rrf = new RandomRowFilter((float) 0.8); // OK 随机选出一部分的行  
  56.         Filter kof = new KeyOnlyFilter(); // OK 返回所有的行,但值全是空  
  57.         Filter pf = new PrefixFilter(Bytes.toBytes("row")); // OK  筛选匹配行键的前缀成功的行  
  58.         Filter rf = new RowFilter(CompareFilter.CompareOp.NOT_EQUAL, new BinaryComparator(Bytes.toBytes("row1"))); // OK 筛选出匹配的所有的行  
  59.         Filter wmf = new WhileMatchFilter(rf); // OK 类似于Python itertools中的takewhile  
  60.         Filter skf = new SkipFilter(vf); // OK 发现某一行中的一列需要过滤时,整个行就会被过滤掉  
  61.           
  62.         List<Filter> filters = new ArrayList<Filter>();  
  63.         filters.add(rf);  
  64.         filters.add(vf);  
  65.         FilterList fl = new FilterList(FilterList.Operator.MUST_PASS_ALL, filters); // OK 综合使用多个过滤器, AND 和 OR 两种关系  
  66.           
  67.         scan1.  
  68.         setStartRow(Bytes.toBytes("row1")).  
  69.         setStopRow(Bytes.toBytes("row3")).  
  70.         setFilter(scvf);   
  71.         ResultScanner scanner1 = table.getScanner(scan1);  
  72.           
  73.         for(Result res : scanner1){  
  74.             for(Cell cell : res.rawCells()){  
  75.                 System.out.println("KV: " + cell + ", Value: " + Bytes.toString(CellUtil.cloneValue(cell)));  
  76.             }  
  77.             System.out.println("------------------------------------------------------------");  
  78.         }  
  79.           
  80.         scanner1.close();  
  81.         table.close();  
  82.     }  
  83.    
  84. }  

本文转载自:http://blog.csdn.net/cnweike/article/details/42920547

Zero零_度
粉丝 69
博文 1267
码字总数 263854
作品 0
程序员
私信 提问
hbase0.98 coprocessor Endpoint 之 HelloWorld

介绍: 源博地址: http://www.cockybook.com/?p=35 HBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(<0.92)Hb...

_Leo_
2014/05/15
3.7K
4
一文让您全面了解清楚HBase数据库的所有知识点,值得收藏!

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、HBase基本概念:列式数据...

李金泽
2018/03/04
0
0
Hive学习总结之五:HBase和Hive的集成

Hive和Hbase有各自不同的特征:hive是高延迟、结构化和面向分析的,hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。如...

酷帅CoolBash
2013/03/10
9.8K
0
Hive 数据导入HBase的2种方法详解

最近经常被问到这个问题,所以简单写一下总结。 Hive数据导入到HBase基本有2个方案: 1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新 2、MapReduce...

王二铁
2015/08/27
11.7K
0
HBase漫谈 | HBase缓存漫谈

背景 用户/内容画像的对存储的要求其实是比较高的: 能批量更新(比如更新所有用户某个属性) 大量随机读取(甚至可能没有热点数据) 随机属性更新/添加 可持久化 易于横向扩展解决性能问题 ...

HBase技术社区
03/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用原生js对表格排序

本文转载于:专业的前端网站➸用原生js对表格排序 阿里的模拟笔试题,当时时间有限没写出来,其实是因为自己对原生dom操作不熟悉,这里补一下。 题目的大意是有一个表格,如代码所示 <table>...

前端老手
31分钟前
4
0
IT兄弟连 HTML5教程 HTML5表单 HTML5新增表单元素

HTML5有一些新的表单元素:<datalist>、<keygen>、<output>。不是所有的浏览器都支持HTML5新的表单元素,但即使浏览器不支持该表单属性,仍然可以显示为常规的表单元素。 1 <datalist>元素 ...

老码农的一亩三分地
32分钟前
4
0
【朝花夕拾】Android自定义View篇之(一)View绘制流程

https://www.cnblogs.com/andy-songwei/p/10955062.html

shzwork
34分钟前
5
0
Qt编写自定义控件70-扁平化flatui

一、前言 对于现在做前端开发人员来说,FlatUI肯定不陌生,最近几年扁平化的设计越来越流行,大概由于现在PC端和移动端的设备的分辨率越来越高,扁平化反而看起来更让人愉悦,而通过渐变色产...

飞扬青云
43分钟前
3
0
教你玩转Linux—添加批量用户

添加和删除用户对每位Linux系统管理员都是轻而易举的事,比较棘手的是如果要添加几十个、上百个甚至上千个用户时,我们不太可能还使用useradd一个一个地添加,必然要找一种简便的创建大量用户...

Linux就该这么学
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部