文档章节

给自己的网站加上robots.txt

海水凝蓝
 海水凝蓝
发布于 2017/09/01 14:17
字数 1551
阅读 3
收藏 0
点赞 0
评论 0

今天给自己的网站加了一个robots.txt,在网上收集整理了一些资料,给自己网站也加上了robots.txt ! 顺便给大家分享一下!

一、robots.txt是什么?

  robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。

  当一个搜索引擎(又称搜索机器人或蜘蛛程序)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

二、robots.txt的作用

  1、引导搜索引擎蜘蛛抓取指定栏目或内容;

  2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

  3、屏蔽死链接、404错误页面;

  4、屏蔽无内容、无价值页面;

  5、屏蔽重复页面,如评论页、搜索结果页;

  6、屏蔽任何不想被收录的页面;

  7、引导蜘蛛抓取网站地图;

三、Robots的语法(三个语法和两个通配符)

  三个语法如下:

  1、User-agent:(定义搜索引擎)

  示例:

   User-agent: *(定义所有搜索引擎)
   User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)
   User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

   不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

  2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

  示例:

    Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)
    Disallow: /admin (禁止蜘蛛爬取admin目录)
    Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)
    Disallow: /help.html (禁止蜘蛛爬去help.html页面)

  3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

  示例:

    Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)
    Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

  两个通配符如下:

  4、匹配符 “$”

    $ 通配符:匹配URL结尾的字符

  5、通配符 “*”

    * 通配符:匹配0个或多个任意字符

四、robots.txt 综合示例

  1、禁止搜索引擎抓取特定目录

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

  User-agent: *   Disallow: /admin/
  Disallow: /tmp/
  Disallow: /abc/

  2、禁止admin目录,但允许抓取admin目录下的seo子目录

  User-agent: *   Allow: /admin/seo/
  Disallow: /admin/

  3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL(包含子目录)

  User-agent: *   Disallow: /abc/*.htm$

  4、禁止抓取网站中所有的动态页面

  User-agent: *   Disallow: /?

  屏蔽所有带“?”的文件,这样就屏蔽所有的动态路径。

  5、禁止百度蜘蛛抓取网站所有的图片:

  User-agent: Baiduspider
  Disallow: /.jpg$
  Disallow: /
.jpeg$
  Disallow: /.gif$
  Disallow: /
.png$
  Disallow: /*.bmp$

  6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告

  User-agent: *   Disallow: /folder1/

  User-agent: Mediapartners-Google
  Allow: /folder1/

  请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析页面,从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

五、注意事项

  1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

    以吴钧泽博客网站为例:比如通过 https://www.wujunze.com/robots.txt 你就可以访问 wujunze.com的robots.txt文件了。
robots_txt.png

  2、robots.txt 文件名命名必须小写,记得在robot面加“s”。

  3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

  4、路径后面加斜杠“/” 和不加斜杠的是有区别的

    Disallow: /help
禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

    Disallow: /help/ 
    禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

  5、Disallow与Allow行的顺序是有意义的:

    举例说明:

    允许蜘蛛访问 /admin/ 目录下的seo文件夹

    User-agent: *     Allow: /admin/seo/
    Disallow: /admin/

    如果Allow 和 Disallow 的顺序调换一下:

    User-agent: *     Disallow: /admin/
    Allow: /admin/seo/

    蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。

六、关于Robots Meta

  Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况,而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots Meta标签也是放在页面中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

  Robots Meta 标签中没有大小写之分,name="Robots" 表示所有的搜索引擎,可以针对某个具体搜索引擎(如google)写为 name="Googlebot", content部分有四个指令选项:index、noindex、follow、nofollow,指令间以 “,” 分隔。

  Index 指令告诉搜索机器人抓取该页面;

  NoIndex命令:告诉搜索引擎不允许抓取这个页面

  Follow 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

  NoFollow命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

  Robots Meta 标签的缺省值是Index和Follow;

  根据以上的命令,我们就有了一下的四种组合:

  
  可以抓取本页,而且可以顺着本页继续索引别的链接

  
  不许抓取本页,但是可以顺着本页抓取索引别的链接

  
  可以抓取本页,但是不许顺着本页抓取索引别的链接

  
  不许抓取本页,也不许顺着本页抓取索引别的链接。

  如果是 形式的话,可以写成:
  

  如果是 形式的话,可以写成:
  

七、关于 rel="nofollow"

  将"nofollow"放在超链接中,告诉搜索引擎不要抓取特定的链接。

  如某博客上有垃圾评论:

  灌水

  以下操作,即进行了 nofollow:

  灌水
就是这些注意事项了,大家去试试robots.txt吧!

© 著作权归作者所有

共有 人打赏支持
海水凝蓝
粉丝 0
博文 8
码字总数 23021
作品 0
珠海
程序员
禁止搜索引擎收录的方法[转载]

禁止搜索引擎收录的方法 一.什么是robots.txt文件?   搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。   您可以在您的网站中创建一个纯文本文件rob...

JavaGG ⋅ 2009/05/06 ⋅ 0

拒绝蜘蛛协议

robots.txt用法 禁止搜索引擎收录的方法 一.什么是robots.txt文件?   搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息。   您可以在您的网站中创建一个...

钓鱼岛 ⋅ 2012/07/03 ⋅ 1

玩转robots协议

2013年2月8日北京市第一中级人民法院正式受理了百度诉奇虎360违反“Robots协议”抓取、复制其网站内容的不正当竞争行为一案,索赔金额高达一亿元,这可以看做2012年下半年“3B大战”的继续。...

十七亮 ⋅ 2013/07/11 ⋅ 0

什么样的爬虫才是好爬虫:Robots协议探究

  网站的管理者们通常会有这样一种心态:一方面期待百度、Google这样的搜索引擎来抓取网站的内容,另一方面又很厌恶其他来路不明的网络爬虫抓取自己的信息。正是因为这样,才有“好爬虫”、...

FreeBuf ⋅ 03/02 ⋅ 0

如何使用robots.txt及其详解

在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个纯文本文件,在这个文件...

yunwei001 ⋅ 2014/04/24 ⋅ 0

robots.txt的详细写法

什么是robots.txt?   搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以...

freedonn ⋅ 2014/10/06 ⋅ 0

关于织梦DEDECMS robots文件设置的想法

用织梦DEDECMS建站的站长会发现,DEDECMS自带的robots.txt文件设置很简单(开发者基于每个网站的目录结构和优化目的不同的 考虑),并不能完全满足网站的优化要求,那怎样才能结合自己网站的...

汤圆 ⋅ 2013/01/15 ⋅ 0

WordPress博客的SEO技巧

在所有的开源程序中,WordPress的SEO优化几乎是最好的。现在很多站长做SEO都选它来做,因为WordPress程序自身在网站优化方 面做的很好,并且小巧,容易掌握。今天这篇文章,主要讲一下在Wor...

红薯 ⋅ 2009/12/04 ⋅ 2

robots.txt文件格式详解

在说明ROTBOT文件的编写语法前先来了解几个重要的概念! 1. 什么是baiduspider? baiduspider是Baidu搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在...

李恒哲 ⋅ 2011/02/06 ⋅ 0

网站seo必备:给你的wordpress博客添加sitemap插件

wordpress博客搭建以后,我就推荐安装两个插件,一个是WP-PostViews,详细可以查看《wordpress文章统计插件:WP-PostViews让你的文章阅读量及时更新》,另一个就是今天所说的sitemap插件。 ...

zhizhe468 ⋅ 06/15 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

BS与CS的联系与区别【简】

C/S是Client/Server的缩写。服务器通常采用高性能的PC、工作站或小型机,并采用大型数据库系统,如Oracle、Sybase、InFORMix或 SQL Server。客户端需要安装专用的客户端软件。 B/S是Brower/...

anlve ⋅ 35分钟前 ⋅ 0

发生了什么?Linus 又发怒了?

在一个 Linux 内核 4.18-rc1 的 Pull Request 中,开发者 Andy Shevchenko 表示其在对设备属性框架进行更新时,移除了 union 别名,这引发了 Linus 的暴怒。 这一次 Linus Torvalds 发怒的原...

问题终结者 ⋅ 55分钟前 ⋅ 0

在树莓派上搭建一个maven仓库

在树莓派上搭建一个maven仓库 20180618 lambo init 项目说明 家里有台树莓派性能太慢。想搭建一个maven私服, 使用nexus或者 jfrog-artifactory 运行的够呛。怎么办呢,手写一个吧.所在这个...

林小宝 ⋅ 今天 ⋅ 0

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 今天 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 今天 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 今天 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部