文档章节

Nutch+solr+mmseg4j集成

hiqj
 hiqj
发布于 2014/04/18 17:37
字数 577
阅读 43
收藏 0

第一章

安装配置solr4.2

#下载solr4.2.0版本

[root@nutch nutch2]# wget http://archive.apache.org/dist/lucene/solr/4.2.0/solr-4.2.0.tgz

#解压solr4.2.0文件

[root@nutch nutch2]# tar -xzvf solr-4.2.0.tgz

#nutch/conf/schema.xml复制到solr/collection1/conf

solr4.2.0版本中,我们需要把nutchschema-solr4.xml文件复制到collection1下的conf目录内,指定为schema.xml

[root@nutch nutch2]# cp /home/nutch2/release-1.6/runtime/local/conf/schema-solr4.xml /home/nutch2/solr-4.2.0/example/solr/collection1/conf/schema.xml

#启动solr服务器

[root@nutch example]# java -jar start.jar &

启动之后报错:

_version_ does not exist

Unable to use updateLog: _version_field must exist in schema, using indexed="true" stored="true" and multiValued="false" (_version_ does not exist)

不存在_version_字段

解决方案:

修改solr/collection1/conf/schema.xml,在<fields>下增加:<field name=”_version_” type=”long” indexed=”true” stored=”true”/>

#关闭solr服务器

[root@nutch example]# jps

4625 jar

4664 Jps

[root@nutch example]# kill -9 4625

[root@nutch example]#

solr4.2.0版本和solr3.6.2版本,最大的区别在于

solr4.2.0版本中,我们不再需要把solr/conf/solrconfig.xml文件里的<str name=”df”>text</str>都替换为<str name=”df”>content</str>

#重新启动solr服务器

[root@nutch example]# java -jar start.jar &

打开浏览器访问8983端口

http://192.168.1.49:8983/solr/

solr4.2配置分词器mmseg4j 1.9.0

我们在不配分词的情况下提交索引,它使用默认的分词。但默认分词效果并不是我们想要的。所以,我们给solr配置mmseg4j分词器。

#停止服务

[root@nutch example]# jps

5927 Jps

5853 jar

[root@nutch example]# kill -9 5853

#下载mmseg4j1.9

[root@nutch nutch2]# wget http://mmseg4j.googlecode.com/files/mmseg4j-1.9.1.v20130120-SNAPSHOT.zip

#unzip命令解压mmseg4j1.9

[root@nutch nutch2]# unzip mmseg4j-1.9.1.v20130120-SNAPSHOT.zip -d mmseg4j-1.9.1

#创建lib目录

[root@nutch nutch2]# mkdir solr-4.2.0/example/solr/collection1/lib

拷贝mmseg4j1.9dist目录中的3jar包到solr/collection1/lib目录下

[root@nutch nutch2]# cp mmseg4j-1.9.1/mmseg4j-1.9.1-SNAPSHOT/dist/* solr-4.2.0/example/solr/collection1/lib

修改schema.xml,指定使用seg4jTokenizer

[root@nutch nutch2]# vi solr-4.2.0/example/solr/collection1/conf/schema.xml

<tokenizer class="solr.WhitespaceTokenizerFactory"/><tokenizer class="solr.StandardTokenizerFactory"/>替换为<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex"/>

Solr配置分词器主要注意两点:

  1. 复制jar

  2. 替换schema分词器

运行SOLR并提交索引

#启动solr服务器

[root@nutch example]# java -jar start.jar &

#提交索引

[root@nutch local]# bin/nutch solrindex http://192.168.1.49:8983/solr/ data/crawldb/ -linkdb data/linkdb/ -dir data/segments/

solr管理界面去查看索引信息

在网页查看schema.xml配置文件

比较solr3.6solr4.2的区别

 

 

 

 

 

 

© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
LarryKoo/jfinal-plus

JFinal-Plus 高度集成开箱即用项目基础包 v1.0.0 发布 基于JFinal 2.2 版本; 集成JFinal-Ext和JFinal-Ext2最新版本的稳定工具(感谢); 集成Beetl2支持,整合Beetl+Shiro使用; 集成Beetl2 + XS...

LarryKoo
2016/08/08
0
0
使用Gitlab和Gitlab CI做持续集成(理论篇)

持续集成是一种软件开发实践。 在持续集成中,团队成员频繁集成他们的工作成果,一般每人每天至少集成一次,也可以多次。 每次集成会经过自动构建(包括自动测试)的检验,以尽快发现集成错误...

donhui
2016/07/25
5.4K
11
“中国系统集成产业联盟”正式成立

“中国系统集成产业联盟”正式成立 2013年12月26日,“中国系统集成产业联盟”成立大会在北京市石景山区电科大厦成功举行。 “中国系统集成产业联盟”由工业和信息化部电子科学技术情报研究所...

beechnut1221
2013/12/27
119
1
J2EE快速开发框架--JDFrame

JDFrame采用基于J2EE的B/S/S三层体系架构、基于MVC设计模式、集成业界常用标签库、集成权限体系管理功能、集成待办事宜、系统公告等功能; 为达到最佳性能开发环境建议采用Jdk1.6及以上版本,...

fasake
2014/02/11
4.4K
0
第四届(2017)中国集成家居影响力年会

会议详情 无边·无限2017第四届集成家居行业影响力年会 集成无边,品牌无限 一、年会介绍 中国集成家居行业影响力年会是集成家居行业规模最大、影响力最大的行业高峰论坛。是由瑞翔传媒主办,...

蟠桃会会议平台
2017/08/30
14
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
15
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
15
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部