文档章节

Nutch2.1+mysql+solr3.6.1安装部署

萝卜丁辣子
 萝卜丁辣子
发布于 2012/10/11 14:00
字数 670
阅读 10222
收藏 16
参考资料:http://nlp.solutions.asia/?p=180#tab-3



1、mysql 数据库配置
    linux mysql安装步骤省略。
    创建数据库与表

    CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

    CREATE TABLE `webpage` (

`id` varchar(767) CHARACTER SET latin1 NOT NULL,
`headers` blob,
`text` mediumtext DEFAULT NULL,
`status` int(11) DEFAULT NULL,
`markers` blob,
`parseStatus` blob,
`modifiedTime` bigint(20) DEFAULT NULL,
`score` float DEFAULT NULL,
`typ` varchar(32) CHARACTER SET latin1 DEFAULT NULL,
`baseUrl` varchar(512) CHARACTER SET latin1 DEFAULT NULL,
`content` mediumblob,
`title` varchar(2048) DEFAULT NULL,
`reprUrl` varchar(512) CHARACTER SET latin1 DEFAULT NULL,
`fetchInterval` int(11) DEFAULT NULL,
`prevFetchTime` bigint(20) DEFAULT NULL,
`inlinks` mediumblob,
`prevSignature` blob,
`outlinks` mediumblob,
`fetchTime` bigint(20) DEFAULT NULL,
`retriesSinceFetch` int(11) DEFAULT NULL,
`protocolStatus` blob,
`signature` blob,
`metadata` blob,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、安装nutch2.1
A、 nutch下载地址:http://apache.etoak.com/nutch/2.1/apache-nutch-2.1-src.zip
    下载完成后家压缩,
B、以下将nutch的根目录定位${APACHE_NUTCH_HOME}.
C、配置nutch对mysql的支持,修改${APACHE_NUTCH_HOME}/ivy/ivy.xml文件
    将这行的注释取消<dependency org=”mysql” name=”mysql-connector-java” rev=”5.1.18″ conf=”*->default”/>
    修改${APACHE_NUTCH_HOME}/conf/gora.properties文件,
        注释默认存储配置

        ###############################
# Default SqlStore properties #
###############################

#gora.sqlstore.jdbc.driver=org.hsqldb.jdbc.JDBCDriver
#gora.sqlstore.jdbc.url=jdbc:hsqldb:hsql://localhost/nutchtest
#gora.sqlstore.jdbc.user=sa
#gora.sqlstore.jdbc.password=
        取消以下代码注释,
###############################
# MySQL properties           
 ################################

gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver

gora.sqlstore.jdbc.url=jdbc:mysql://localhost:3306/nutch?createDatabaseIfNotExist=true

gora.sqlstore.jdbc.user=xxxxx(mysql用户名)

gora.sqlstore.jdbc.password=xxxxx(mysql密码)

D、修改${APACHE_NUTCH_HOME}/conf/nutch-site.xml 加入如下代码:

<property>

<name>http.agent.name</name>

<value>Your Nutch Spider</value>

</property>

<property>

<name>http.accept.language</name>

<value>ja-jp, en-us,en-gb,en;q=0.7,*;q=0.3</value>

<description>Value of the “Accept-Language” request header field.

This allows selecting non-English language as default one to retrieve.

It is a useful setting for search engines build for certain national group.

</description>

</property>

<property>

<name>parser.character.encoding.default</name>

<value>utf-8</value>

<description>The character encoding to fall back to when no other information

is available</description>

</property>

<property>

<name>storage.data.store.class</name>

<value>org.apache.gora.sql.store.SqlStore</value>

<description>The Gora DataStore class for storing and retrieving data.

Currently the following stores are available: ….

</description>

</property>

E、使用ant编译  ${APACHE_NUTCH_HOME} 。

F、设置待抓取的网站
    cd ${APACHE_NUTCH_HOME}/runtime/local
    mkdir -p urls
    echo 'http://nutch.apache.org/' > urls/seed.txt
G、执行爬行操作: bin/nutch crawl urls -depth 3 -topN 5
    执行完在mysql中即可以查看到爬虫抓取的内容

3、安装solr,对nutch抓取的内容进行索引
    (注意:参考资料中推荐使用solr4.0版本,4.0的两个版本我都试了,没有成功,所以替换为3.6.1版本)

    A、解压缩下载包,
    C、启动solr 
        cd ${APACHE_SOLR_HOME}/example

    java -jar start.jar

    D、在浏览器输入地址http://localhost:8983/solr  测试是否启动成功。

        E、另起linux终端,输入如下命令,使solr对nutch抓取内容进行索引。

            cd ${APACHE_NUTCH_HOME}/runtime/local/

      bin/nutch solrindex http://127.0.0.1:8983/solr/ -reindex

4、测试
    在浏览器输入   http://localhost:8983/solr  ,看到如下界面:


在文本框中输入 content:nutch 点击查询,便可查处内容中包含nutch关键字的网页













© 著作权归作者所有

萝卜丁辣子
粉丝 4
博文 13
码字总数 5821
作品 0
昌平
私信 提问
加载中

评论(10)

song9158
song9158
ubuntu系统下,运行nutch的爬行程序,提示找不到mysql连接驱动类,怎么解决
方其林
liux环境下用ant编译Nutch 报如下错:Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found.、那位高手、大哥帮忙回复解决下啊、 我QQ:530613876
f3lix
f3lix
开verbose看了一下原来是elasticsearch-0.19.4.jar下载太慢...
f3lix
f3lix

引用来自“racoon”的评论

你好,想请教下。ant的时候为什么会一直停留在loading settings :: .../ivy/ivysettings.xml 始终过不去。。

你好,我也遇到了这个问题,ant停留在loading settings :: .../ivy/ivysettings.xml,请问如何解决?谢谢
y
yuwenbing
windows下怎么使用ant编译${APACHE_NUTCH_HOME} ,求指教?
racoon
racoon

引用来自“ssssx”的评论

引用来自“racoon”的评论

解决了。。

怎么解决 ?

你具体问题是什么?
s
ssssx

引用来自“racoon”的评论

解决了。。

怎么解决 ?
racoon
racoon
解决了。。
racoon
racoon
你好,想请教下。ant的时候为什么会一直停留在loading settings :: .../ivy/ivysettings.xml 始终过不去。。
张文涛
我勒个去的,我在Windows下编译的,生成的nutch脚本文件是Linux下的版本。楼主有什么解决方法,盼赐教!
Nutch2.1+mysql+solr3.6.1安装部署

@萝卜丁辣子 你好,想跟你请教个问题: http://my.oschina.net/robolin/blog/82512 操作到下面这步时,没顺利通过 E、使用ant编译 ${APACHE_NUTCH_HOME} 。 ant /home/xuexi/opensource/apa...

硅谷课堂
2012/12/17
2.8K
5
使用MDT2013部署Win8系统之一-安装MDT及ADK

使用MDT2013部署Win8系统之一-安装MDT及ADK 本篇我们来看一下微软的另一项部署工具-MDT 首先来看一下MDT的介绍: MDT的全称为Microsoft Deployment Toolkit,主要是为大型或者中型企业部署...

落霞秋鹜
2014/06/05
0
0
Openstack安装部署指南翻译系列 之 说明(Pike版本官网翻译)

从部署实践来看,部署工作有两大困难,一个是架构设计,一个是排查错误。其中,当部署过程中出现错误,需要排查的时候,如果不了解基础的系统结构原理和基础的安装步骤,是很难定位和解决问题...

yuweibing
2017/11/13
0
0
Openstack Kolla-Ansible安装部署

Openstack Kolla-Ansible安装部署 部署节点制作 环境准备 CentOS环境安装 安装依赖 安装docker-ce 开启 Docker 的共享挂载功能:所谓共享挂载即同一个目录或设备可以挂载到多个不同的路径并且...

hNicholas
2018/11/28
0
0
SCCM2012系列之六,SCCM2012部署前的WDS准备

SCCM2012系列之六,SCCM2012部署前的WDS准备 经过了前期的准备工作,本文将为大家介绍SCCM2012部署前的最后的准备步骤—WDS。我们知道,微软对于企业大规模部署操作系统有多种部署策略,WDS...

yuelei
2012/09/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

云栖干货回顾 | 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务ACID。AnalyticDB PG通过行存...

大涛学弟
9分钟前
2
0
TL138/1808/6748-EasyEVM开发板硬件CPU、FLASH、RAM

TL138/1808/6748-EasyEVM是广州创龙基于SOM-TL138/SOM-TL1808/SOM-TL6748核心板开发的一款开发板。由于SOM-TL138/SOM-TL1808/SOM-TL6748核心板管脚兼容,所以此三个核心板共用同一个底板。开...

Tronlong创龙
14分钟前
2
0
开普勒平台开源版

https://github.com/kplcloud/kplcloud

perofu
17分钟前
3
0
昨天,这项阿里技术再获世界级科技大奖!

第六届世界互联网大会来了!千年水乡古镇乌镇又一次吸引了全世界的目光。 昨天,阿里云自研数据库POLARDB 在会上当选世界互联网领先科技成果。POLARDB解决了企业在云时代的数据库难题,帮助企...

阿里云官方博客
17分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部