文档章节

lucene4.7 过滤Filter(六)

一枚Sir
 一枚Sir
发布于 2014/04/10 18:38
字数 1322
阅读 430
收藏 5

  先介绍下查询与过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说只要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面的q参数跟fq参数的区别。

下面,开始进入正题,在这之前,老生常谈的先来了解一下Lucene里面有关于Filter的整体知识

下面,我们来看下具体的在代码里怎么实现,先来看下我们的测试数据

id        score        bookname    ename        type            price        date
1        1        飘渺之旅        pmzl        小说        52.23        201005        
2        1        三国演义        sgyy        小说        36.13        201207        
3        1        数据库实战        sjksz        技术        77.13        200811        
4        1        编程宝典        bcbd        技术        100.3        200501        
5        1        职场关系论        zcgxl        职场        36.59        200501        
6        1        健康生活        jksh        生活        20.47        200008        
7        1        看清本质        kqbz        社会        10.37        201004        
8        1        编程,编程        bcbc        社会        10.37        201004

核心代码

//使用过滤器   最后一个为true时包含边界部分,为false时不包含边界部分
//倒数第二个为true时,包含查询边界,为false时不包含
TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

6        1        健康生活        jksh        生活        20.47        200008        
7        1        看清本质        kqbz        社会        10.37        201004

核心代码

  NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);
  TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

2        1        三国演义        sgyy        小说        36.13        201207        
5        1        职场关系论        zcgxl        职场        36.59        200501        
6        1        健康生活        jksh        生活        20.47        200008        
7        1        看清本质        kqbz        社会        10.37        201004        
8        1        编程,编程        bcbc        社会        10.37        201004

核心代码

  //使用缓存过滤
  Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);
  TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

2        1        三国演义        sgyy        小说        36.13        201207        
5        1        职场关系论        zcgxl        职场        36.59        200501        
6        1        健康生活        jksh        生活        20.47        200008

核心代码

 // 缓存域过滤特定的类别
 Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});
 TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

3        1        数据库实战        sjksz        技术        77.13        200811        
4        1        编程宝典        bcbd        技术        100.3        200501        
7        1        看清本质        kqbz        社会        10.37        201004        
8        1        编程,编程        bcbc        社会        10.37        201004

核心代码

 //使用QueryWrapperFilter类包装一个Query
 QueryWrapperFilter  filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));
 TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

3        1        数据库实战        sjksz        技术        77.13        200811        
4        1        编程宝典        bcbd        技术        100.3        200501

最后我来看下,如何继承Filter基类,来定制我们自己的filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。 
自定义Filter类

package com.sanjiesanxian.test;

import java.io.IOException;
import java.util.BitSet;

import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.index.AtomicReaderContext;
import org.apache.lucene.index.DocsEnum;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.DocIdSet;
import org.apache.lucene.search.Filter;
import org.apache.lucene.util.AttributeSource;
import org.apache.lucene.util.Bits;
import org.apache.lucene.util.DocIdBitSet;
import org.apache.lucene.util.FixedBitSet;
import org.apache.lucene.util.OpenBitSet;

/***
 *^_^  ^_^  ^_^
 * QQ交流探讨群:324714439
 * 自定义过滤器
 * @author 三劫散仙
 * */
public class MyCustomFilter extends Filter{
    
    public MyCustomFilter() {
        // TODO Auto-generated constructor stub
    }
    
    private String[] terms;//限制返回的数据字典
    public MyCustomFilter(String ...terms) {
        // TODO Auto-generated constructor stub
        this.terms=terms;
    }
    @Override
    public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)
            throws IOException {
        FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc())  ;//获取没有所有的docid包括未删除的
         int base=arg0.docBase;//段的相对基数,保证多个段时相对位置正确
         //int limit=base+arg0.reader().maxDoc();//计算最大限制值
        for(String s:terms){
              DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复
              //保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term
              if(doc.nextDoc()!=-1){ 
                bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面
                }
              }
        return bits;
    }
}

测试查询代码

 MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项
 TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);

输出结果

2        1        三国演义        sgyy        小说        36.13        201207        
3        1        数据库实战        sjksz        技术        77.13        200811        
5        1        职场关系论        zcgxl        职场        36.59        200501

自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。

© 著作权归作者所有

一枚Sir
粉丝 119
博文 209
码字总数 350904
作品 0
朝阳
架构师
私信 提问
加载中

评论(2)

清路漫漫
清路漫漫
但是我想知道4.7中如何实现自己的打分,以前还有CustomScoreQuery什么的,现在变化好大啊
清路漫漫
清路漫漫
很清楚
lucene4.7 过滤Filter(六) ---特殊的filter(DuplicateFilte)

举个例子,来说明分词后去重,会造成什么情况,假如我们的索引name一列中有中国,和伟大的中国,那么就对这个name列去重后,就会发现lucene只保留了伟大的中国这个字段,为什么呢?因为切词后...

一枚Sir
2014/04/11
2.3K
0
lucene4下用MultiFieldQueryParser同时搜索多个field时

因为工作中突然要用到lucene,就到官网上下了lucene4.7的jar包和文档,回头开始学习的时候才发现,网上lucene相关的资料大部分都停留在3.*阶段,于是结合前辈的代码,自己写了下面一个例子,...

一枚Sir
2014/04/10
7.1K
1
Lucene4.3开发之第六步之分神中期(六)

本篇要介绍的是关于过滤方面的知识,也就是Filter,如果了解Solr的朋友,肯定都会知道Solr里面fq这个参数,这个参数的作用其实就是lucene里面的过滤,对一些q参数查询的结果集,做过滤或者限...

heroShane
2014/02/21
105
0
lucene4.7 分页(五)

我们先来看下下面的问题,现在我们的索引里有2亿多的数据,那么现在的需求是,把索引里的全部数据,读取然后写入txt文本里,对于这么一个量级的数据,显然是不可能一下子全部读取完的,那得要...

一枚Sir
2014/04/10
3.2K
1
Lucene4.7如何遍历索引获得每个词的docFreq,IndexReader没有terms()方法了

Lucene4.7如何遍历索引获得每个词的docFreq,IndexReader没有terms()方法了

_Roger_
2014/03/14
275
0

没有更多内容

加载失败,请刷新页面

加载更多

Activity启动模式二

上篇文章Activity启动模式一主要介绍了Activity的四种启动模式,这些启动模式都是在AndroidManifest中进行配置的。除此之外,Android系统还通过Intent类提供了一些标志位,同样可以指定Activ...

ltlovezh
34分钟前
4
0
三原色还原

1、Color Filter Array — CFA 随着数码相机、手机的普及,CCD/CMOS 图像传感器近年来得到广泛的关注和应用。 图像传感器一般都采用一定的模式来采集图像数据,常用的有 BGR 模式和 CFA 模式...

天王盖地虎626
45分钟前
3
0
kubernetes pod exec接口调用

正文 一般生产环境上由于网络安全策略,大多数端口是不能为集群外部访问的。多个集群之间一般都是通过k8s的ApiServer组件提供的接口通信,如https://192.168.1.101:6443。所以在做云平台时,...

码农实战
今天
8
0
3_数组

3_数组

行者终成事
今天
8
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部