文档章节

使用solr搭建你的全文检索

hiqj
 hiqj
发布于 2014/04/18 17:34
字数 1168
阅读 43
收藏 0

文章来源:http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html

Solr

Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。

一、solr介绍

solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ solr需要运行在一个servlet 容器里,例如tomcat5.5solrlucene的上层提供了一个基于HTTP/XMLWeb Services,我们的应用需要通过这个服务与solr进行交互。

二、 solr安装和配置

关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:

使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

下面主要说说需要注意的地方。

Solr的安装非常简单,下载solrzip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

 

<Context docBase="D:/solr.war" debug="0" crossContext="true" >

   
<Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />

</Context>

观察这个指定的solr主位置,里面存在两个文件夹:confdata。其中conf里存放了对solr而言最为重要的两个配置文件schema.xmlsolrconfig.xmldata则用于存放索引文件。

     schema.xml主要包括typesfields和其他的一些缺省设置。

solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。

上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个

<uniqueKey>url</uniqueKey>

的配置,这里将url字段作为索引文档的唯一标识符,非常重要。

三、 加入中文分词

对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solrBaseTokenizerFactory

/**
 * Created by IntelliJ IDEA.
 * User: ronghao
 * Date: 2007-11-3
 * Time: 14:40:59
 * 
中文切词 对庖丁切词的封装
 */

public class ChineseTokenizerFactory extends BaseTokenizerFactory {
    
/**
     * 
最多切分   默认模式
     */

    
public static final String MOST_WORDS_MODE = "most-words";
    
/**
     * 
按最大切分
     */

    
public static final String MAX_WORD_LENGTH_MODE = "max-word-length";
    
private String mode = null;
    
public void setMode(String mode) {
             
if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)
                      || "default".equalsIgnoreCase(mode)) {
                  
this.mode=MOST_WORDS_MODE;
             } 
else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
                  
this.mode=MAX_WORD_LENGTH_MODE;
             }
             
else {
                  
throw new IllegalArgumentException("不合法的分析器Mode参数设置:" + mode);
             }
        }
    @Override
    
public void init(Map<String, String> args) {
        
super.init(args);
        setMode(args.get("mode"));
    }
    
public TokenStream create(Reader input) {
        
return new PaodingTokenizer(input, PaodingMaker.make(),
                  createTokenCollector());
    }
    
private TokenCollector createTokenCollector() {
        
if( MOST_WORDS_MODE.equals(mode))
             
return new MostWordsTokenCollector();
        
if( MAX_WORD_LENGTH_MODE.equals(mode))
             
return new MaxWordLengthTokenCollector();
        
throw new Error("never happened");
    }
}

schema.xml的字段text配置里加入该分词器。

<fieldtype name="text" class="solr.TextField" positionIncrementGap="100">

            
<analyzer type="index">

                
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>


                
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>

                
<filter class="solr.LowerCaseFilterFactory"/>


                
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

            
</analyzer>

            
<analyzer type="query">

                
<tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>               

                
<filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

                
<filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                
<filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>

                
<filter class="solr.LowerCaseFilterFactory"/>

                
<filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

            
</analyzer>

        
</fieldtype>

</types>

完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solrlib下,注意修改jar包里字典的home

四、 与自己应用进行集成

Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建addxml文档-->postsolr/update

应用删除数据&agrave;根据配置的索引文档唯一标识符构建deletexml文档-->postsolr/update

检索数据&agrave;构建查询xml>get/solr/select/-->solr返回的xml进行处理-->页面展现。

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。

关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置

<Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。

 

String[] array = StringUtils.split(query, null, 0);
        
for (String str : array) {
            result = result + URLEncoder.encode(str, "UTF-8") + "+";
        }

 

本文转载自:文章来源:http://www.blogjava.net/RongHao/archive/2007/11/06/158621.html

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
搜索引擎solr服务

solr作为Apache下面的企业级搜索引擎,已经被广发使用。 我从12年开始接触solr,已经为多家企业搭建搜索服务并成功上线运营。 solr提供了全文检索,高亮,分词,权重排序,分类搜索统计等,分...

朗讯
2016/08/15
27
0
高手问答第 182 期 —— 来聊聊老牌开源全文检索引擎 Solr

OSCHINA 本期高手问答(12 月 20 日 - 12 月 26 日)我们请来了@vnetoolxw 兰小伟和大家一起探讨关于 Solr 的问题。 兰小伟(网名:益达),资深 Java 工程师,在 Java 技术上有很深的积累和造...

局长
2017/12/20
6K
52
linux/window 下 solr5.1 tomcat7.x 环境搭建即简单功能测试

之所以想使用solr来进行学习,很大一部分原因就是,solr能够在某种程度上提供RESTFUL相关的URL请求连接,可以把它理解为 以搜索引擎为基础的存储服务系统 ,由于他的搜索可以是针对URL的,那...

alexgaoyh
2015/05/14
329
5
请教个关于 solr 索引构建的方案的问题,怎么操作比较适合正式环境?

最近搭建一个全文检索平台。最初考虑只采用lucene,然后自己写索引构建程序、检索框架等,类似osc @红薯 的方案,以前也做过比较熟悉。但有两个问题,1.比较复杂,工作量和维护量都比较大。2...

从前
2013/03/27
3K
4
全文检索~solr的使用

全文检索这个系列在几前年写过lucene的文章,而现在看来它确实已经老了,它的儿子孙子都出来了,已经成为现在检索行列的主流,像solr,elasticsearch等,今天我们主要来看一个solr在aspnetcor...

mcy247
2017/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最小化/解压缩JavaScript的工具[关闭]

关闭。 这个问题是 题外话 。 它当前不接受答案。 想改善这个问题吗? 更新问题 ,使其成为Stack Overflow 的主题 。 5年前关闭。 是否有任何命令行脚本和/或在线工具可以逆转缩小效果,类似...

技术盛宴
24分钟前
25
0
删除不再在远程存储库中的本地git标签

在部署过程中,我们在git中使用标签。 我们不时希望通过从远程存储库中删除它们来清理这些标记。 这很简单。 一个用户在一组命令中删除本地标签和远程标签。 我们有一个结合了两个步骤的小s...

javail
40分钟前
27
0
ZhaoWei-2020-01-29

并发相关 1、并发编程三要素? (1)原子性 原子性指的是一个或者多个操作,要么全部执行并且在执行的过程中不被其他操作打断,要么就全部都不执行。 (2)可见性 可见性指多个线程操作一个共...

SuSheePark
55分钟前
75
0
微信小程序结构说明

一、微信小程序结构: 小程序框架的目标是通过尽可能简单、高效的方式让开发者可以在微信中开发具有原生App体验服务 小程序框架提供了自己的视图层描述语言wxml和wxss以及JavaScript,并在视...

冥焱
59分钟前
66
0
AspectJ 切点指示器-03-execution

execution() 匹配满足某一匹配条件的目标方法的连接点 各个类最终结构图如下: 1、Factory package com.test.aspectj.expression;/** * 工厂接口 */public interface Factory {...

moon888
今天
72
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部