文档章节

网站爬虫的背景时代

ailess
 ailess
发布于 2015/09/03 02:09
字数 1304
阅读 71
收藏 0

  
随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(SearchEngine),例如传统的通用搜索引擎AltaVista,Yahoo!和Google等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性,如: 
(1)不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。 
(2)通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。 
(3)万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力,不能很好地发现和获取。 
(4)通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。 
网络爬虫 
网络爬虫 
为了解决上述问题,定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接,获取所需要的信息。与通用爬虫(general?purposewebcrawler)不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。 
1聚焦爬虫工作原理以及关键技术概述 
网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 
相对于通用网络爬虫,聚焦爬虫还需要解决三个主要问题: 
(1)对抓取目标的描述或定义; 
(2)对网页或数据的分析与过滤; 
(3)对URL的搜索策略。 
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜索引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。 
2抓取目标描述 
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。 
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为: 
(1)预先给定的初始抓取种子样本; 
(2)预先给定的网页分类目录和与分类目录对应的种子样本,如Yahoo!分类结构等; 
(3)通过用户行为确定的抓取目标样例,分为: 
(a)用户浏览过程中显示标注的抓取样本; 
(b)通过用户日志挖掘得到访问模式及相关样本。 
其中,网页特征可以是网页的内容特征,也可以是网页的链接结构特征,等等。页的链接结构特征,等等。

© 著作权归作者所有

共有 人打赏支持
ailess
粉丝 0
博文 3
码字总数 2630
作品 0
南京
程序员
私信 提问
福利 | Python专场竞技,这些书给你加把力!

端午节将至,各地龙舟备战竞技,粽子部队也整装待发。小编掐指一算,这种热闹的时节,是时候展现真正的技(fu)术(li)了! (“Python号”龙舟闪亮登场!) Python作为当下最流行的编程语言...

2018/06/15
0
0
python爬虫(一)_爬虫原理和数据抓取

本篇将开始介绍Python原理,更多内容请参考:Python学习指南 为什么要做爬虫 著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经在2015年提到由IT转到DT,何谓DT,DT即数...

小七奇奇
2017/11/13
0
0
创业这么热,为何站长消失了?

创业这么热,为何站长消失了?   摘要 : 在这个“高举高打”和动辄融资千万美元或上亿美元的互联网创业新时代,无论是在资金资源,还是在技术和产品方面,创业的门槛已经很高了。   文/李...

开元中国2015
2015/05/25
99
0
万众瞩目,2018中国企业数字化转型国际峰会,重磅来袭

9月13-14日,由上海希为(ECV International)举办的2018中国企业数字化转型国际峰会即将在上海盛大举行。 数字化企业的演进已经经历三个主要阶段:上世纪七八十年代是复杂计算时代,以主机为...

玄学酱
2018/05/01
0
0
微软 Spartan 浏览器名字未定 或与IE并存

微软对外展示了代号为“Spartan”的新浏览器项目,有关Spartan是否取代IE,目前微软官方尚无明确说法。 PCWorld报道指出,Spartan浏览器项目中,缺失了一个重要的Logo——微软“Internet Ex...

oschina
2015/01/23
3.5K
27

没有更多内容

加载失败,请刷新页面

加载更多

https://www.jianshu.com/p/dbffae16ba0b

https://www.jianshu.com/p/dbffae16ba0b

张宏亮1982
13分钟前
4
0
linux基本命令

linux常用shell命令=命令+选项+参数 cd (change directory)切换目录 cd #root根目录 cd / #系统根目录 cd ../../ #返回上上一层目录 ls/dir (list)列出目录下文件 ls -a (--all) #列出所...

陈刚生
18分钟前
2
0
30分钟学会如何使用Shiro

本篇内容大多总结自张开涛的《跟我学Shiro》原文地址:http://jinnianshilongnian.iteye.com/blog/2018936 我并没有全部看完,只是选择了一部分对我来说急需在项目中使用的知识加以学习。并且...

群星纪元
20分钟前
0
0
常用算法之快速排序python&php

python(快速排序): # -*- UTF-8 -*- def quicksort(arr): if (len(arr)) < 2: return arr; mark = arr[0] #递归条件 #第一种方式 # left = [i for i in arr[1:] if i < mark]; # right = [i ......

山人有妙计
23分钟前
0
0
synchronized关键字

synchronized关键字可分为对象锁和类锁,修饰对象可分为代码块和方法 。 修饰代码块: 1.对象锁:synchronized (this) 或 synchronized (object) : 如果是同一个实例,则代码块的执行有先后;...

某只小强
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部