文档章节

Lucene4.3开发之第六步之分神中期(六)

heroShane
 heroShane
发布于 2014/02/21 14:26
字数 1314
阅读 105
收藏 0

    本篇要介绍的是关于过滤方面的知识,也就是Filter,如果了解Solr的朋友,肯定都会知道Solr里面fq这个参数,这个参数的作用其实就是lucene里面的过滤,对一些q参数查询的结果集,做过滤或者限制返回一些我们需要的内容,可以理解成小搜索空间的一种策略。

    在这里先介绍一下查询预过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说,主要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面q参数和fq参数的区别。

    下面进入正题,在这之前,先来了解lucene里面有关于Filter的整体知识。

下面,我们看下具体的在代码里怎么实现,先看下我们的测试数据

id	score		bookname	ename		type	        price		date
1	1		飘渺之旅		pmzl		小说		52.23		201005		
2	1		三国演义		sgyy		小说		36.13		201207		
3	1		数据库实战	sjksz		技术		77.13		200811		
4	1		编程宝典		bcbd		技术		100.3		200501		
5	1		职场关系论	zcgxl		职场		36.59		200501		
6	1		健康生活		jksh		生活		20.47		200008		
7	1		看清本质		kqbz		社会		10.37		201004		
8	1		编程,编程		bcbc		社会		10.37		201004

核心代码

//使用过滤器   最后一个为true时包含边界部分,为false时不包含边界部分
//倒数第二个为true时,包含查询边界,为false时不包含
TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

6	1		健康生活		jksh		生活		20.47		200008		
7	1		看清本质		kqbz		社会		10.37		201004

核心代码

NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

2	1		三国演义		sgyy		小说		36.13		201207		
5	1		职场关系论	zcgxl		职场		36.59		200501		
6	1		健康生活		jksh		生活		20.47		200008		
7	1		看清本质		kqbz		社会		10.37		201004		
8	1		编程,编程		bcbc		社会		10.37		201004

核心代码

//使用缓存过滤
Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

2	1		三国演义		sgyy		小说		36.13		201207		
5	1		职场关系论	zcgxl		职场		36.59		200501		
6	1		健康生活		jksh		生活		20.47		200008

核心代码

// 缓存域过滤特定的类别
Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

3	1		数据库实战	sjksz		技术		77.13		200811		
4	1		编程宝典		bcbd		技术		100.3		200501		
7	1		看清本质		kqbz		社会		10.37		201004		
8	1		编程,编程		bcbc		社会		10.37		201004

核心代码

//使用QueryWrapperFilter类包装一个Query
QueryWrapperFilter  filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

3	1		数据库实战	sjksz		技术		77.13		200811		
4	1		编程宝典		bcbd		技术		100.3		200501

如何继承Filter基类,来定制我们自己的Filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。

自定义Filter类

package com.sanjiesanxian.test;

import java.io.IOException;
import java.util.BitSet;

import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.index.AtomicReaderContext;
import org.apache.lucene.index.DocsEnum;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.DocIdSet;
import org.apache.lucene.search.Filter;
import org.apache.lucene.util.AttributeSource;
import org.apache.lucene.util.Bits;
import org.apache.lucene.util.DocIdBitSet;
import org.apache.lucene.util.FixedBitSet;
import org.apache.lucene.util.OpenBitSet;

/***
 *^_^  ^_^  ^_^
 * 自定义过滤器
 * @author 三劫散仙
 * */
public class MyCustomFilter extends Filter{
	
	public MyCustomFilter() {
		// TODO Auto-generated constructor stub
	}
	
	private String[] terms;//限制返回的数据字典
	public MyCustomFilter(String ...terms) {
		// TODO Auto-generated constructor stub
		this.terms=terms;
	}
	@Override
	public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)
			throws IOException {
		//获取没有所有的docid包括未删除的
		FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc())  ;
		int base=arg0.docBase;//段的相对基数,保证多个段时相对位置正确
		//int limit=base+arg0.reader().maxDoc();//计算最大限制值
		for(String s:terms){
		          //必须是唯一的不重复
			  DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));
			  //保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term
			  if(doc.nextDoc()!=-1){ 
			    bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面
				}
			  }
		return bits;
	}	
}

测试查询代码

MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);

输出结果

2	1		三国演义		sgyy		小说		36.13		201207		
3	1		数据库实战	sjksz		技术		77.13		200811		
5	1		职场关系论	zcgxl		职场		36.59		200501

    自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。


本文转载自:http://qindongliang1922.iteye.com/blog/1934607

共有 人打赏支持
heroShane
粉丝 117
博文 229
码字总数 9508
作品 0
广州
币圈六个阶段

一个币的发行要经过几个阶段;每个阶段收益与风险都不一样,大家看看你愿意在那个阶段: 第一个阶段是币刚出来白皮书,发行方开发布会就会以最原始的价格让小部分人认购就叫私募,而且可以转卖...

木子尘
2017/12/29
0
0
【Jenkins】Jenkins集成slack实现事件实时通知

本文做以下事情: 一、首先创建Slack账号 二、在Slack中配置Jenkins集成 三、在Jenkins中安装Slack插件 四、Create a Webhook by visiting Integrations 五、Jenkins中配置Slack 六、调试配置...

awesome@qa
04/10
0
0
JDBC六部曲-1

//创建db.properties文件,来配置对数据库的访问方式dbname=MySQL /Oracle//通过读取文件来实现对不同的数据库不同访问import java.io.*;import java.util.*; public class JDBCTestProgram...

逐梦的Man
2017/10/11
0
0
Lucene4.3进阶开发之亢龙有悔( 九)

上篇文章,散仙介绍了.fnm的索引文件格式的具体结构及数据类型,那么本篇呢,将介绍另外两种格式.fdx和fdt。 Stored Field values,代表着存储字段的具体的值,对于在索引里的每一个文档(D...

heroShane
2014/02/21
0
0
Oracle 10g 表空间物理位置转移

上周五花了多个小时,专门来明白了下ORACLE表空间转移的知识,由于测试站点ORACLE所在的硬盘只剩下十几M的空间了。于是我将表空间转移到另外一个硬盘,流程如下:   操作环境:   数据库...

阿莱倪士
2013/06/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

简易审计系统

1、有时候我们需要对线上用户的操作进行记录,可以进行追踪,出现问题追究责任,但是linux自带的history并不会实时的记录(仅仅在内存中,当用户正常退出(exit logout )时才会记录到history文件里...

芬野de博客
8分钟前
0
0
Qt那些事0.0.6

QML中使用Image,在设置source的后,通过Qt Quick2 Preview(qmlscene)遇到了图片找不到的问题: Image { id: success_img anchors.centerIn: parent ...

Ev4n
9分钟前
0
0
白话SpringCloud | 第十一章:路由网关(Zuul):利用swagger2聚合API文档

前言 通过之前的两篇文章,可以简单的搭建一个路由网关了。而我们知道,现在都奉行前后端分离开发,前后端开发的沟通成本就增加了,所以一般上我们都是通过swagger进行api文档生成的。现在由...

oKong
14分钟前
1
0
javah 生成jni文件的问题

命令:(on macbook for android) javah -d src/main/jni -jni -classpath /Users/Carlyle_Pro/Documents/android_adt/sdk/platforms/android-25/android.jar:build/intermediates/classes/......

Carlyle_Lee
17分钟前
0
0
Ubuntu 安装ssh服务以及开启root用户ssh登录

一、安装ssh服务 安装ssh服务 sudo apt-get update sudo apt-get install openssh-server 安装完成后启动ssh服务 sudo service ssh start 二、开启root用户ssh登录 解决root远程ssh不能登录,...

15834278076
36分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部