文档章节

Solr Apache Solr 初级教程(介绍、安装部署、Java接口、中文分词)

David_Tio
 David_Tio
发布于 2013/12/05 16:03
字数 2325
阅读 1832
收藏 10


Apache Solr 介绍

Solr 是什么?

Solr 是一个开源的企业级搜索服务器,底层使用易于扩展和修改的Java 来实现。服务器通信使用标准的HTTP 和XML,所以如果使用Solr 了解Java 技术会有用却不是必须的要求。

Solr 主要特性有:强大的全文检索功能,高亮显示检索结果,动态集群,数据库接口和电子文档(Word ,PDF 等)的处理。而且Solr 具有高度的可扩展,支持分布搜索和索引的复制。

Lucene 是什么?

Lucene 是一个基于 Java 的全文信息检索工具包,它不是一个完整的搜索应用程序,而是为你的应用程序提供索引和搜索功能。Lucene 目前是 Apache Jakarta 家族中的一个开源项目。也是目前最为流行的基于 Java 开源全文检索工具包。

目前已经有很多应用程序的搜索功能是基于 Lucene ,比如 Eclipse 帮助系统的搜索功能。Lucene 能够为文本类型的数据建立索引,所以你只要把你要索引的数据格式转化的文本格式,Lucene 就能对你的文档进行索引和搜索。

Solr VS Lucene

Solr 与Lucene 并不是竞争对立关系,恰恰相反Solr 依存于Lucene ,因为Solr 底层的核心技术是使用Apache Lucene 来实现的,简单的说Solr 是Lucene 的服务器化。需要注意的是Solr 并不是简单的对Lucene 进行封装,它所提供的大部分功能都区别于Lucene 。

安装搭建Solr

安装 Java 虚拟机

Solr 必须运行在Java1.5 或更高版本的Java 虚拟机中,运行标准Solr 服务只需要安装JRE 即可,但如果需要扩展功能或编译源码则需要下载JDK 来完成。可以通过下面的地址下载所需JDK 或JRE :

  • OpenJDK ( http://java.sun.com/j2se/downloads.html )
  • Sun (http://java.sun.com/j2se/downloads.html )
  • IBM (http://www.ibm.com/developerworks/java/jdk/ )
  • Oracle (http://www.oracle.com/technology/products/jrockit/index.html )安装 步骤请参考相应的帮助文档。
安装中间件

Solr 可以运行在任何Java 中间件中,下面将以开源Apache Tomcat 为例讲解Solr 的安装、配置与基本使用。本文使用Tomcat5.5 解压版进行演示,可在下面地址下载最新版本http://tomcat.apache.org/download-55.cgi

安装Apache Solr
下载最新的Solr

本文发布时Solr1.4 为最新的版本,下文介绍内容均针对该版本,如与Solr 最新版本有出入请以官方网站内容为准。Solr官方网站下载地址:http://www.apache.org/dyn/closer.cgi/lucene/solr/

Solr 程序包 的目录结构
  • build :在solr 构建过程中放置已编译文件的目录。
  • client :包含了一些特定语言调用Solr 的API 客户端程序,目前只有Ruby 可供选择,Java 客户端叫SolrJ 在src/solrj 中可以找到。
  • dist :存放Solr 构建完成的JAR 文件、WAR 文件和Solr 依赖的JAR 文件。
  • example :是一个安装好的Jetty 中间件,其中包括一些样本数据和Solr 的配置信息。
  • example/etc :Jetty 的配置文件。
  • example/multicore :当安装Slor multicore 时,用来放置多个Solr 主目录。
  • example/solr :默认安装时一个Solr 的主目录。
  • example/webapps :Solr 的WAR 文件部署在这里。
  • src :Solr 相关源码。
  • src/java :Slor 的Java 源码。
  • src/scripts :一些在大型产品发布时一些有用的Unix bash shell 脚本。
  • src/solrj :Solr 的Java 客户端。
  • src/test :Solr 的测试源码和测试文件。
  • src/webapp :Solr web 管理界面。管理界面的Jsp 文件都放在web/admin/ 下面,可以根据你的需要修改这些文件。

Solr 的源码没有放在同一个目录下,src/java 存放大多数文件,src/common 是服务器端与客户端公用的代码,src/test 放置solr 的测试程序,serlvet 的代码放在src/webapp/src 中。

Solr 主目录结构

一个运行的Solr 服务其主目录包含了Solr 的配置文件和数据(Lucene 的索引文件)

Solr 的主目录展开后为如下结构:

  • bin :建议将集群复制脚本放在这个目录下。
  • conf :放置配置文件。
  • conf/schema.xml :建立索引的schema 包含了字段类型定义和其相关的分析器。
  • conf/solrconfig.xml :这个是Solr 主要的配置文件。
  • conf/xslt :包含了很多xslt 文件,这些文件能将Solr 的XML 的查询结果转换为特定的格式,比如:Atom/RSS。
  • data :放置Lucene 产生的索引数据。
  • lib :放置可选的JAR 文件比如对Slor 扩展的插件,这些JAR 文件将会在Solr 启动时加载。
如何 设置 主目录

通过Java system property ,属性的名称是:solr.solr.home 。

通过JNDI 将主目录的路径绑定到java:comp/env/solr/home 。

通过修改web.xml 位置在:src/web-app/web/WEB-INF ,

<env-entry>    <env-entry-name>solr/home</env-entry-name>    <env-entry-value>solr/</env-entry-value>    <env-entry-type>java.lang.String</env-entry-type></env-entry>

如果Solr 主目录没有指定则默认设置为solr/

发布运行Solr

将apache-solr-1.4.0/dist/apache-solr-1.4.0.war 从安装包中解压到<tomcat home>/webapps 下。WAR 是一个完整的web 应用程序,包括了Solr 的Jar 文件和所有运行Solr 所依赖的Jar 文件,Jsp 和很多的配置文件与资源文件,这里需要注意的是:WAR 文件中不包括Solr 主目录,因此在启动tomcat 之前我们要先指定Solr 的主目录。

将安装程序中的apache-solr-1.4.0/example/solr 文件夹解压到<tomcat homt>/ 下,然后在<tomcat home>/bin/catalina.bat 第一行添加如下内容:

set JAVA_OPTS=%JAVA_OPTS% -Dsolr.solr.home=<tomcat home>/solr注:Windows 以外操作系统需修改 catalina.sh 文件。

启动tomcat ,apache-solr-1.4.0.war 自动发布为web 应用。

点击链接访问Solr 控制台界面,http://localhost:8080/apache-solr-1.4.0/ ,显示如下界面表示启动成功。

resource

resource(1)

使用Java 接口访问Solr 服务

SolrJ 是Solr 服务器的一个Java 接口,使用该接口再也不同为虑客户端与服务器端交互时格式解析和转换的问题烦恼了,取而代之的是用你熟悉的对象来进行相关的操作,而且随着Solr 的不断升级SolrJ 也会同样提供这些新加入的功能。

SolrJ (Solr1.4 )依赖的Jar 包
  • commons-codec-1.3.jar
  • commons-fileupload-1.2.1.jar
  • commons-httpclient-3.1.jar
  • commons-logging-1.0.4.jar
  • commons-io-1.4.jar
  • geronimo-stax-api_1.0_spec-1.0.1.jar
  • solr-solrj-1.4.0.jar
  • wstx-asl-3.2.7.jar
  • stax-api-1.0.1.jar
  • slf4j-api-1.5.5.jar
  • slf4j-simple-1.5.5.jar
创建 SolrServer

SolrJ 中有2 种SolrServer 对象,CommonsHttpSolrServer 与EmbeddedSolrServer ,他们都是线程安全的并建议使用单例模式来使用他们,因为动态创建会造成连接泄露。

Create CommonsHttpSolrServer

String url = "http://localhost:8983/solr";SolrServer server = new CommonsHttpSolrServer( url );

Create EmbeddedSolrServer

// solr.solr.home 属性也可以通过 JVM 参数设置System.setProperty("solr.solr.home", "/home/shalinsmangar/work/oss/branch-1.3/example/solr");CoreContainer.Initializer initializer = new CoreContainer.Initializer();CoreContainer coreContainer = initializer.initialize();EmbeddedSolrServer server = new EmbeddedSolrServer(coreContainer, "");
添加
public SolrServer getSolrServer(){    // 对象实例可以重复使用    return new CommonsHttpSolrServer();}SolrServer server = getSolrServer();// 清空之前建立的索引数据server.deleteByQuery( "*:*" );// 创建一个文档SolrInputDocument doc1 = new SolrInputDocument();doc1.addField( "id", "id1", 1.0f );doc1.addField( "name", "doc1", 1.0f );doc1.addField( "price", 10 );// 创建另外一个文档SolrInputDocument doc2 = new SolrInputDocument();doc2.addField( "id", "id2", 1.0f );doc2.addField( "name", "doc2", 1.0f );doc2.addField( "price", 20 );// 创建文档集合Collection<SolrInputDocument> docs = new ArrayList<SolrInputDocument>();docs.add( doc1 );docs.add( doc2 );// 将文档添加到 Solr 中server.add( docs );// 提交server.commit();
查询
// 得到一个 SolrServer 实例(通过上面介绍的方法创建)SolrServer server = getSolrServer();// 构造一个查询对象SolrQuery query = new SolrQuery();query.setQuery( "*:*" );query.addSortField( "price", SolrQuery.ORDER.asc );// 查询结果SolrDocumentList docs = rsp.getResults();

solr中文分词

分词产品 目前Lucene 的中文分词主要有:

  • paoding :Lucene 中文分词“庖丁解牛” Paoding Analysis 。
  • imdict :imdict 智能词典所采用的智能中文分词程序。
  • mmseg4j : 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器。
  • ik :采用了特有的“正向迭代最细粒度切分算法“,多子处理器分析模式。

分词效率

下面是各个分词产品官方提供的数据:

  • paoding :在PIII 1G 内存个人机器上,1 秒 可准确分词 100 万 汉字。
  • imdict :483.64 ( 字节/ 秒) ,259517( 汉字/ 秒) 。
  • mmseg4j : complex 1200kb/s 左右, simple 1900kb/s 左右。
  • ik :具有 50 万字 / 秒的高速处理能力。

自定义词库

  • paoding :支持不限制个数的用户自定义词库,纯文本格式,一行一词,使用后台线程检测词库的更新,自动编译更新过的词库到二进制版本,并加载
  • imdict :暂时不支持用户自定义词库。但 原版 ICTCLAS 支持。支持用户自定义 stop words
  • mmseg4j :自带 sogou 词库,支持名为 wordsxxx.dic , utf8 文本格式的用户自定义词库,一行一词。不支持自动检测。 -Dmmseg.dic.path
  • ik : 支持 api 级的用户词库加载,和配置级的词库文件指定,无 BOM 的 UTF-8 编码, \r\n 分割。不支持自动检测。
  • ik 与 solr 集成

以上产品中只有 ik 提供了 Solr ( 1.3 , 1.4 )的分词接口程序,只需修改配置文件即可实现中文分词,配置方法如下;

使用 IKAnalyzer 的配置

<schema name="example" version="1.1">……<fieldType name="text" class="solr.TextField"><analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/></fieldType>……</schema>

使用 IKTokenizerFactory 的配置

<fieldType name="text" class="solr.TextField" ><analyzer type="index"><tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>……</analyzer><analyzer type="query"><tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>……</analyzer></fieldType>

本文转载自:

共有 人打赏支持
David_Tio
粉丝 2
博文 14
码字总数 7204
作品 0
朝阳
高级程序员
私信 提问
Ubuntu 16.04 LTS下安装配置Solr-Mmseg4j

安装环境:Ubuntu 16.04 LTS; Java JDK 1.8.0 目录 检查系统环境 安装Apache Solr 配置solr-mmseg4j 1. 检查系统环境 检查java环境 所需java版本是1.8.0 相关链接: Ubuntu 16.04 LTS下安装配...

㭍葉
2017/05/31
0
0
solr4.9在tomcat7下安装、配置

solr简介 solr是受欢迎的,速度极快的开源企业搜索平台。主要功能包括强大的全文搜索,搜索词高亮显示,分面搜索,近实时的索引,动态聚类,数据库集成,丰富的文件(例如,Word,PDF)处理,...

cloud-coder
2014/08/21
0
1
Tomcat下Solr安装配置

由于Solr基于java开发,因此Solr在windows及Linux都能较好部署使用,但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本,因此在生产部署时候建议安装在Linux上,测试时候可以在w...

超人学院
2015/05/22
0
0
Solr环境搭建及IK分词的集成及solrJ的调用(一)

项目需要,最近在做使用solr进行搜索的项目。 solr是一个基于lucene的java开发的搜索服务器,简单点说solr是一个已经完成的war包,直接部署起来即可。 solr的安装比较简单,但是第一次使用,...

王小明123
2013/04/08
0
0
基于Solr的全文搜索服务器的安装部署

Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发,主要基于 HTTP 和 Apache Lucene 实现。Apache Solr 中存储的资源是以 Document 为对象进行存储的。每个文档由一系列的 Fiel...

mickelfeng
2013/01/02
0
1

没有更多内容

加载失败,请刷新页面

加载更多

jquery通过id显示隐藏

var $div3 = $('#div3'); 显示 $div3.show(); 隐藏 $div3.hide();

yan_liu
今天
3
0
《乱世佳人》读书笔记及相关感悟3900字

《乱世佳人》读书笔记及相关感悟3900字: 之前一直听「荔枝」,后来不知怎的转向了「喜马拉雅」,一听就是三年。上班的时候听房产,买房了以后听装修,兴之所至时听旅行,分手后听亲密关系,...

原创小博客
今天
3
0
大数据教程(9.6)map端join实现

上一篇文章讲了mapreduce配合实现join,本节博主将讲述在map端的join实现; 一、需求 实现两个“表”的join操作,其中一个表数据量小,一个表很大,这种场景在实际中非常常见,比如“订单日志...

em_aaron
今天
3
0
cookie与session详解

session与cookie是什么? session与cookie属于一种会话控制技术.常用在身份识别,登录验证,数据传输等.举个例子,就像我们去超市买东西结账的时候,我们要拿出我们的会员卡才会获取优惠.这时...

士兵7
今天
3
0
十万个为什么之为什么大家都说dubbo

Dubbo是什么? 使用背景 dubbo为什么这么流行, 为什么大家都这么喜欢用dubbo; 通过了解分布式开发了解到, 为适应访问量暴增,业务拆分后, 子应用部署在多台服务器上,而多台服务器通过可以通过d...

尾生
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部