文档章节

常见搜索引擎及其抓取蜘蛛

 浪人无情
发布于 2017/05/24 11:30
字数 171
阅读 15
收藏 0

1、百度蜘蛛

Baiduspider:以前Baiduspider、baiduspider都是百度蜘蛛,但现在统一成Baiduspider了。

Baiduspider-image:抓取图片的蜘蛛

Baiduspider-mobile:抓取wap

Baiduspider-video:抓取视频

Baiduspider-news:抓取新闻

2、谷歌蜘蛛:

Googlebot

Googlebot-Mobile:抓取wap内容

3、360蜘蛛

360Spider

4、SOSO蜘蛛

Sosospider

5、雅虎蜘蛛:

Yahoo! Slurp China 或者 Yahoo!

注意:“Slurp”前后有空格,写robots时要注意。

6、有道蜘蛛

YoudaoBot,YodaoBot

7、搜狗蜘蛛

Sogou News Spider

Sogou web spider

Sogou inst spider

Sogou spider2

Sogou blog

Sogou News Spider

Sogou Orion spider

8、MSN蜘蛛

msnbot

msnbot-media

9、必应蜘蛛

bingbot

10、一搜蜘蛛

YisouSpider

11、Alexa蜘蛛

ia_archiver

12、宜sou蜘蛛

EasouSpider

13、即刻蜘蛛

JikeSpider

© 著作权归作者所有

粉丝 0
博文 10
码字总数 4757
作品 0
渭南
私信 提问
搜索引擎爬虫的“危害“和“防治”

简要: 1.搜索引擎爬虫的危害,蜘蛛对网站的负面影响。 2.有效指引搜索引擎对应的措施,及解决方法。 3.收集最新最准确各大搜索引擎蜘蛛名称。 一、搜索引擎的蜘蛛,是不是爬得越多越好? 当...

Duziee
2013/06/17
41
0
搜索引擎的原理

一、 搜索引擎蜘蛛 搜索引擎蜘蛛(spider),可简称为蜘蛛,本意为搜索引擎机器人(robot),称为蜘蛛的原因是将互联网比喻成蜘蛛网,将机器人比喻成了在网上爬行的蜘蛛,是搜索引擎自动抓取...

长平狐
2013/01/06
237
0
最新最准确各大搜索引擎蜘蛛名称

1、百度蜘蛛:Baiduspider 网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,都洗洗睡吧,那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下...

专注97
2016/01/14
247
0
百度蜘蛛、Google蜘蛛、360蜘蛛如何辨别?

/** * 蜘蛛控制 */function spiderControl() { $useragent = strtolower ( $SERVER ['HTTP_USER_AGENT'] ); $allow_spiders = array ('Baiduspider', 'Googlebot' ); foreach ( $allow_spide......

lixiaokai2008
2015/04/15
801
0
如何使用robots.txt及其详解

在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件,在这个文件...

yunwei001
2018/06/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
10
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部