垂直型爬虫架构设计(1)

原创
2015/09/14 18:41
阅读数 1.5W

    从事爬虫方向开发马上也将近两年时间了,今天基友问我关于爬虫的架构设计问题.其实这么久也想总结一下自己的整个开发的过程,架构的设计问题..对自己进行一些总结..仅作参考.

    1.爬虫的分类 :

        对于我来说,爬虫分为两类:

            需要载入配置文件的爬虫与不需要载入配置文件的爬虫.

            其实也就是人们常说的垂直型爬虫跟宽度(深度)遍历爬虫.

    2.爬虫的架构:

        1.宽度遍历爬虫.

            做过SEO的朋友大概都知道,如果一个网站需要百度能够尽快的抓取,那么仅仅优化关键词,提高权重等都是比较简单的优化,爬虫友好性需要网站在建设的时候就考虑到爬虫的友好.如:标签设置,架构设计...

            宽度遍历爬虫就是宽度抓取,网站在设计的时候就直接是按照宽度设计...不太好理解,也不太好解释... 大概的意思就是深度少...如; 进入首页之后---就能看到各个分类,点击分类就能看到分类列表---点击分类列表就是内容...减少与用户的交互,也让爬虫能直接找到重点.

            各大搜索引擎应用的都是宽度遍历方式来抓取数据.不信你可以建一个网站.设置十几级深度..首页-分类--再分类---再分类之后十几级之后才能看到内容..你可以试一下,爬虫抓取的效果怎么样.

            宽度遍历爬虫比较常见的很多,Nutch、Heritrix等都是宽度遍历爬虫的典型代表,比较常用的就是Nutch.

    2.垂直型爬虫

            垂直型爬虫我个人感觉是最近几年才被提出的,垂直型爬虫关注内容与准确还有效率.比较常见的就是舆情项目,财经项目等.仅仅抓取到有效有用的数据,并且在爬虫 抓取之初就能够把抓取到的内容进行简单的处理: 如.提取标题,内容,时间等.

            垂直型爬虫注重效率,相对来说.一个网站有十万个链接,宽度遍历爬虫需要把十万个链接都下载到你的数据库中,而垂直型爬虫只需要下载对你有用的数据,也许仅有几千或者一万,如果垂直型爬虫抓取这么点数据比宽度遍历爬虫抓取的还慢,那么这个项目在这点上就是个垃圾.

            垂直型爬虫相对于宽度遍历爬虫又一个特别的地方是:宽度遍历爬虫是可定制的,根据某个网站订制..比如:抓取QQ空间,新浪微博等,都是需要登陆的...或者是有些网站的内容需要javascript来调用才能显示,那么就需要javascript解析引擎来保证抓取的质量.插件定制是我对垂直型爬虫做的又一个定义

           

    3.爬虫的设计

        爬虫想起来复杂做起来其实一点也不复杂,简单来说就是网站链接发现,网站连接处理,链接下载---继续发现链接...

        进入一个网站首先需要提供这个网站的网址.例如:        http://www.baidu.com         那么得到百度之后就需要下载该页面,下载页面之后能发现几个链接.  http://news.baidu.com http://music.baidu.com   等, 获得这几个链接之后就是打开这几个链接,继续获得新的链接....一直持续下去...

        如果,仅仅是这样,那么爬虫就会'死'在这个网站...比如.在其他页面也会找到http;'//www.baidu.com 那么再进入这里.再一直这样循环...就真的死了..所以需要对链接进行有效的管理,去重等...   在这个抓取过程中,某个链接已经抓取过了,那么在链接发现,或者是链接下载的时候就可以直接把这个链接去掉,不进行下载.那么之后发现的链接会越来越少,那么整个网站的抓取也就会有个结束!

        OK,表达能力不是很好,简单总结,无论编写什么类型的爬虫,都需要这些:    链接发现--连接管理--链接下载--    那么也就获取到内容了.

    

    4.垂直型爬虫的垂直?

        垂直型爬虫在刚开始做爬虫的时候我就再想为什么叫垂直型爬虫.现在写了那么久也不是很理解,我大概觉得垂直的意思是垂直获取,就好像是有目的有目标的直接去拿想要的东西,所以垂直...!

        垂直型爬虫跟普通型的爬虫不同的地方在于有目的性.相对于其他爬虫,目的性非常的明确.就好象我要拿一篇文章,其他的东西都不要,那么垂直型爬虫可以满足你!

        垂直型爬虫设计跟宽度遍历爬虫的设计区别也不是很大,一样.... 链接发现--连接管理--链接下载. 不过大部分的垂直型爬虫多了一个     信息提取         提取出所需的内容是对垂直型爬虫最大的考研,也是垂直型爬虫最重要的功能. 所以在垂直型爬虫上应该体现的是 链接发现-链接管理-链接下载等.!

         个人认为:垂直型爬虫更加适用于企业级,因为企业级所需资讯内容明确.而且垂直型爬虫更加的小型,便于管理.实现功能定制化.

展开阅读全文
打赏
7
201 收藏
分享
加载中
CainGao博主
有问题的朋友请加群 470315865 详细讨论
2017/08/04 08:47
回复
举报
感觉楼主说的爬虫是搜索引擎在干的事情,但实际上大多数实际应用都是定向爬取,
2015/09/19 18:03
回复
举报
o了
2015/09/18 04:27
回复
举报

引用来自“雨翔河”的评论

深度优先搜索和广度优先搜索吧

垂直和深度优先还是有区别的,从文章来看,当我爬到不相关的 主题的时候,我就不会继续爬了,而是回溯回去从有相关的地方再横向的爬别的地方,只有爬的东西相关才会越爬越深。不知道我的理解对不对@LZ
2015/09/17 23:22
回复
举报

引用来自“西安鲲之鹏”的评论

引用来自“fir01”的评论

国的网站能爬吗?好像多数都是js跳转之类的,很难爬啊,几乎每个网站要一套程序来爬
越来越多网站开始注重保护自己的数据。总体而言国外网站反采集要比国内做的好(普遍),限制IP访问频率,验证码,数据加密,核心数据转成图片格式都是现在常见的防护策略。抓简单的网站容易,总体来说现在没有完全通用的抓取程序,要想效果好还是要自己写程序。我做了5年了,公司做了上千个采集项目。

赞同
2015/09/17 12:15
回复
举报
垂直,宽度?这是专业词汇吗?
2015/09/16 18:50
回复
举报
awsome
2015/09/16 15:19
回复
举报
期待下文79
2015/09/16 14:31
回复
举报

引用来自“fir01”的评论

国的网站能爬吗?好像多数都是js跳转之类的,很难爬啊,几乎每个网站要一套程序来爬
越来越多网站开始注重保护自己的数据。总体而言国外网站反采集要比国内做的好(普遍),限制IP访问频率,验证码,数据加密,核心数据转成图片格式都是现在常见的防护策略。抓简单的网站容易,总体来说现在没有完全通用的抓取程序,要想效果好还是要自己写程序。我做了5年了,公司做了上千个采集项目。
2015/09/16 13:24
回复
举报
深度优先搜索和广度优先搜索吧
2015/09/16 13:22
回复
举报
更多评论
打赏
23 评论
201 收藏
7
分享
在线直播报名
返回顶部
顶部