文档章节

lucene4.7 分页(五)

一枚Sir
 一枚Sir
发布于 2014/04/10 18:31
字数 1223
阅读 3170
收藏 7

  我们先来看下下面的问题,现在我们的索引里有2亿多的数据,那么现在的需求是,把索引里的全部数据,读取然后写入txt文本里,对于这么一个量级的数据,显然是不可能一下子全部读取完的,那得要多大的内存才能够支持下来,是一个很恐怖的内存量,所以就引入散仙今天要给大家介绍的一个功能,Lucene的分页技术。 


介绍分页之前,我们先来看看上面的那个需求,不用分页的解决办法, 
其实在lucene里面,每一个索引都会对应一个不重复的docid,而这一点跟Oralce数据库的伪列rownum一样,恰恰正是由于这个docid的存在,所以让lucene在海量数据检索时从而拥有更好的性能,我们都知道Oracle数据库在分页时,使用的就是伪列进行分页,那么我的lucene也是一样,既然有一个docid的存在,那么上面的需求就很简单了
 

方法一:依次根据每个docid获取文档然后写入txt中,这样的以来,就避免了内存不足的缺点,但是这样单条读取的话,速度上可能会慢一点,但能满足需求无可厚非。伪代码如下

    try{
        directory=FSDirectory.open(new File(indexReadPath));//打开索引文件夹
        IndexReader  reader=DirectoryReader.open(directory);//读取目录
        IndexSearcher search=new IndexSearcher(reader);//初始化查询组件
        for(int i=0;i<reader.numDocs();i++){//numDocs可能很大
         Document doc=search.doc(i);//依次获取每个docid对应的Document
        //可以在此部,做个批量操作,加快写入速度
        }  
        
         reader.close();//关闭资源
         directory.close();//关闭连接
        
        }catch(Exception e){
            e.printStackTrace();
        }

Lucene的分页,总的来说有两种形式,总结如下图表格。(如果存在不合适之处,欢迎指正!)

编号 方式 优点 缺点
1 在ScoresDocs里进行分页 无需再次查询索引,速度很快 在海量数据时,会内存溢出
2 利用SearchAfter,再次查询分页 适合大批量数据的分页 再次查询,速度相对慢一点,但可以利用缓存弥补
从上图我们可以分析出,ScoreDocs适合在数据量不是很大的场景下进行分页,而SearchAfter则都适合,所以,我们要根据自己的业务需求,合理的选出适合自己的分页方式。 

在我们了解这2中分页技术的优缺点之后,我们再来探讨下上面那个读2亿数据存入txt文本里,在这里,SocreDocs不适合这种场景,当然如果你内存足够大的话,可以尝试下,通用分页分批读取的方式,可以提升我们的写入效率,效果是比单条单条读取的速度是要快很多的。虽然ScoresDocs的分页方式在本需求上不适合,但是作为示例,下面散仙给出使用ScoreDocs进行分页的代码:

    try{
        directory=FSDirectory.open(new File(indexReadPath));//打开索引文件夹
        IndexReader  reader=DirectoryReader.open(directory);//读取目录
        IndexSearcher search=new IndexSearcher(reader);//初始化查询组件
        
 
         TopDocs all=search.search(new MatchAllDocsQuery(), 50000);
         int offset=0;//起始位置
         int pageSize=30;//分页的条数
         int total=30;//结束条数
         int z=0;
         while(z<=50){//总分页数
         System.out.println("==============================");
         pageScoreDocs(offset,total,search, all.scoreDocs);//调用分页打印
         offset=(z*pageSize+pageSize);//下一页的位置增量
         z++;//分页数+1;
             total=offset+pageSize;//下一次的结束分页量
         }
         reader.close();//关闭资源
         directory.close();//关闭连接
        
        }catch(Exception e){
            e.printStackTrace();
        }
public void pageScoreDocs(int offset,int total,IndexSearcher searcher,ScoreDoc[] doc) throws Exception{
        //System.out.println("offset:"+offset+"===>"+total);
        for(int i=offset;i<total;i++){
            //System.out.println("i"+i+"==>"+doc.length);
            if(i>doc.length-1){//当分页的长度数大于总数就停止
                
                break;
            }else{
        
               Document dosc=searcher.doc(doc[i].doc);
               System.out.println(dosc.get("name"));
           
            }
        }

最后我们来看下使用SearcherAfter进行分页的方式,代码如下:

    try{
        directory=FSDirectory.open(new File(indexReadPath));//打开索引文件夹
        IndexReader  reader=DirectoryReader.open(directory);//读取目录
        IndexSearcher search=new IndexSearcher(reader);//初始化查询组件
        
         int pageStart=0;
         ScoreDoc lastBottom=null;//相当于pageSize
         while(pageStart<10){//这个只有是paged.scoreDocs.length的倍数加一才有可能翻页操作
             TopDocs paged=null;
             paged=search.searchAfter(lastBottom, new MatchAllDocsQuery(),null,30);//查询首次的30条
             if(paged.scoreDocs.length==0){
                 break;//如果下一页的命中数为0的情况下,循环自动结束
             }
             page(search,paged);//分页操作,此步是传到方法里对数据做处理的
             
             pageStart+=paged.scoreDocs.length;//下一次分页总在上一次分页的基础上
             lastBottom=paged.scoreDocs[paged.scoreDocs.length-1];//上一次的总量-1,成为下一次的lastBottom
         }
         reader.close();//关闭资源
         directory.close();//关闭连接
        
        }catch(Exception e){
            e.printStackTrace();
        }

至此,我们已经了解了lucene中的分页技术,至于,我们在项目中该如何使用,都要根据我们的实际情况处理,因为分页技术常常会跟其他的,排序,过滤,评分等一些技术结合使用。






© 著作权归作者所有

一枚Sir
粉丝 119
博文 209
码字总数 350904
作品 0
朝阳
架构师
私信 提问
加载中

评论(1)

SmileTower
SmileTower
在 lucene 5.3 中,这段代码报错
java.lang.IllegalStateException: unexpected docvalues type NUMERIC for field 'sortid' (expected=SORTED). Use UninvertingReader or index with docvalues.
怎么解决??
lucene4下用MultiFieldQueryParser同时搜索多个field时

因为工作中突然要用到lucene,就到官网上下了lucene4.7的jar包和文档,回头开始学习的时候才发现,网上lucene相关的资料大部分都停留在3.*阶段,于是结合前辈的代码,自己写了下面一个例子,...

一枚Sir
2014/04/10
7.1K
1
lucene4.7 锁机制(十)

Lucene的索引体系是一个写独占,读共享的结构,这意味着,我们在使用多线程进行添加索引时,性能并不会得到明显的提升,所以任何时刻只能有一个线程对索引进行写入操作,而保障这个操作的安全...

一枚Sir
2014/04/11
255
0
Lucene4.7如何遍历索引获得每个词的docFreq,IndexReader没有terms()方法了

Lucene4.7如何遍历索引获得每个词的docFreq,IndexReader没有terms()方法了

_Roger_
2014/03/14
270
0
Lucene4.7 索引和检索的常用API(二)

前面几篇笔者已经把Lucene的最基本的入门,介绍完了,本篇就对Lucene基本的知识做一个总结,以便于加深对Lucene基本API组件的理解。 为了方便对比学习,下面给出表格数据 索引期间使用的API...

一枚Sir
2014/04/10
1K
0
lucene4.7删除索引失败

我使用的是lucene4.7 两个问题: 1 更新索引时不会在原基础上更新,会新增一条。 2 删除索引时删除不掉。 创建IndexWriter的方法 把数据库对象生成索引的方法: 其中LuceneAppUtils是一个工具...

小Y_
2014/06/05
1K
6

没有更多内容

加载失败,请刷新页面

加载更多

谁说多功能和低价格不能兼得?Aspose系列产品1024购买指南请查收!

你还在为了Word、Excel、PDF、CAD等文档格式转换而发愁吗? 你是否在寻找一款能够在应用程序中文档管理的工具呢? Aspose——支持100多种文件格式创建、编辑、转换和打印! 往下看,找一找哪...

mnrssj
8分钟前
1
0
hbase客户端API

本章介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的,并具有Java原生API。因此,它提供了编程访问数据操纵语言(DML)。 HBaseConfiguration类 添加 HBase 的配...

水木星辰
8分钟前
1
0
[插件化开发] 1. 初识OSGI

初识 OSGI 背景 当前product是以solution的方式进行售卖,但是随着公司业务规模的快速夸张,随之而来的是新客户的产品开发,老客户的产品维护,升级以及修改bug,团队的效能明显下降,为了解...

IsaacZhang
8分钟前
1
0
Webstorm 环境使用 nuxt.js 做开发,@ 和 ~ 别名配置

好的IDE + 好的代码提示 = 高效率的开发 webstorm 设置@和~别名,有助于代码查看和跳转. step 0 在项目下创建一个webpack.config.js,内容如下: const path = require('path')module.exp...

皇虫
12分钟前
2
0
Knative 实战:基于 Knative Serverless 技术实现天气服务-下篇

上一期我们介绍了如何基于 Knative Serverless 技术实现天气服务-上篇,首先我们先来回顾一下上篇介绍的内容: 通过高德天气 API 接口,每隔 3 个小时定时发送定时事件,将国内城市未来 3 天...

Mr_zebra
30分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部