文档章节

Nutch入门白话版

十一月不远
 十一月不远
发布于 2014/05/23 09:51
字数 319
阅读 97
收藏 0

不得不说,Nutch的入门官方文档写的真不清晰明了。害的我按照官方文档折腾半天。

Nutch现在已经到了2.2.2版本,而且版本1.x已经更新到了1.8,这里以1.7为例,1.8中的部分命令行工具的API有变,入门时不是很容易。

#安转运行Nutch#

  • 下载安装Nutch
  • 在${NUTCH_HOME}下,mkdir urls
  • cd urls
  • touch seed.txt
  • edit seed.txt ,write :http://nutch.apache.org
  • edit ${NUTCH_HOME}/conf/regex.urlfilter.txt
  • replace
'#accept anything else
+.

with

+^http://([a-z0-9]*\.)*nutch.apache.org/

  • 爬取网页: bin/nutch crawl urls -dir crawl -depth 3 -topN 5 注意:此命令1.8版本有改变

#安装Solr#

  • 下载安装Solr,我使用的时最新版的4.8
  • cd ${SOLR_HOME}/example
  • java -jar start.jar
  • 验证安装:http://localhost:8983/solr/

#Nutch和Solr集成# 这里要注意:文档说了那么多其实只有两件事:

  • 使用${NUTCH_HOME}/conf/schema-solr4.xml 替换掉${SOLR_HOME}/example/solr/collection1/conf/schema.xml ,并将schema-solr4.xml改名为schema.xml
  • 在schema.xml中第351行后面(其实只要添加在types标签中即可)添加:<field name="_version_" type="long" indexed="true" stored="true"/>

到这里集成就完成了。现在只要重新启动solr,并用下面的命令将Nutch爬取的数据索引到solr即可。

在${NUTCH_HOME}下,运行:

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

然后访问:http://localhost:8983/solr/

© 著作权归作者所有

上一篇: Spark编程指南
下一篇: solrcloud入门
十一月不远

十一月不远

粉丝 39
博文 78
码字总数 61436
作品 1
海淀
程序员
私信 提问
MoreWindows博客目录(微软最有价值专家,原创技术文章152篇)

为了方便大家查找和学习,现将本人博客中所有博客文章列出目录。 一. 白话经典算法 目前有17篇,分为七大排序和经典面试题讲解两大类 1. 《白话经典算法系列之一 冒泡排序的三种实现》 2. 《...

morewindows
2013/12/24
0
0
安装nutch2+Hbase+Slor4

介绍 Nutch 网络爬虫 Hbase 分布式存储系统 Solr搜索服务器 版本说明 由于NutchHbaseSolr他们都各自做在自己的版本修改,所以配置他们三者有不同的方法.这里也是参考网络文档做了他们最新版本...

tngou
2013/08/15
6.5K
2
Nutch中文教程--nutcher

nutcher 是 Apache Nutch 的中文教程,在github上托管。nutch社区目前缺少教程和文档,而且教程对应版本号较为落后。nutcher致力于为nutch提供一个较新的中文教程和文档,供开发者学习。 gi...

CrawlScript
2015/03/05
3.9K
4
一文看懂明网、深网、暗网的区别及暗网的危害 | 白话区块链入门140

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 https://blog.csdn.net/mrRqAEr7ci9s2v0/article/details/91462311...

白话区块链-大白
2019/06/11
0
0
【Vue原理】Event - 源码版 之 绑定组件自定义事件

写文章不容易,点个赞呗兄弟 专注 Vue 源码分享,文章分为白话版和 源码版,白话版助于理解工作原理,源码版助于了解内部详情,让我们一起学习吧研究基于 Vue版本 【2.5.17】 如果你觉得排版...

神仙朱
2019/07/10
11
0

没有更多内容

加载失败,请刷新页面

加载更多

测试定时

23/58

FalconChen
昨天
43
0
新海软件邮政市场监管综合信息平台

二、系统功能 该平台包括邮政普遍服务管理、快递管理两大系统,涵盖了地图定位、普服信息、快递信息、GIS管理、网格管理、视频监控、数据分析(BI)、系统设置等八大模块,全面反映了区域邮政...

neocean
昨天
165
0
【微记忆】用户隐私政策与条款

微记忆尊重并保护所有注册用户的个人隐私权。为了给您提供更准确、更贴心的服务,微记忆会按照本隐私权政策的规定储存并使用您的个人信息。微记忆承诺将以高度严格的审慎义务对待这些信息。除...

微记忆
昨天
69
0
两周自制脚本语言-第7天 添加函数功能

第7天 添加函数功能 基本的函数定义与调用执行、引入闭包使Stone语言可以将变量赋值为函数,或将函数作为参数传递给其他函数 有些函数将有返回值的归为函数,没有返回值的归为子程序 7.1 扩充...

果汁分你一半
昨天
105
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部