nutch不适合做垂直爬虫

原创
2015/04/29 10:00
阅读数 175

告诫将要用nutch做爬虫的同行,如果你要用nutch做垂直爬虫,那么早点放弃吧,换成别的爬虫框架,nutch真不适合做什么垂直爬虫,nutch适合用来做搜索引擎型的爬虫,搜索引擎型爬虫就注定了是爬全网,不关注某些字段,而垂直爬虫正好相反,关注某些页面的字段。如果你要将nutch变成爬页面的固定字段,那么你将付出很大的努力。如果你把这些经历放到一个垂直爬虫框架上,那么你将解决你所有的爬虫问题。

不要到群里问什么大神,他们给不了你合适的答案,你问nutch适合做精爬取吗?有很多人会说适合,如果听从他们的意见,那么你将付出成倍的代价去搞nutch,最后发现,nutch搞不下去了,换成别的爬虫工具,两天搞定。

 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部