Apache Nutch 1.13使用备注

原创
2017/06/02 10:08
阅读数 241

下载apache-nutch-1.13-bin.zip使用。

和好多文档提到的不同,它默认只开启了ealsticsearch的索引,所以不论你怎么执行 nutch solrIndex都会报错。你需要在 conf/nutch-site.xml 的 ** <name>plugin.includes</name>**里面添加 indexer-solr 删除 indexer-elastic 然后那些文档就好使了。

当然,如果直接使用的就是elastich search,只需要把<name>elastic.host</name><name>elastic.cluster</name> 配置上就好使了。

两个样本指令

bin/nutch index  crawl/crawldb/ -linkdb crawlinkdb/ crawl/segments/* -filter -normalize -deleteGone

bin/crawl -i  urls/ crawl/  2
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部