文档章节

SEO优化之robost协议

 浪人无情
发布于 2017/06/04 16:49
字数 285
阅读 28
收藏 0

    什么 是Robots协议:

    Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion              Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

 robots的书写有以下几种:
  1:允许所有搜索引擎爬行,抓取的书写形式:
  User-agent: *
  Disallow:
  或者
  User-agent: *
  Allow:/
  建立一个空白的robots.txt放置在网站根目录下,同样也是起到允许所有搜索引擎爬行抓取的命令!
 

  2:禁止所有搜索引擎访问
  User-agent: *
  Disallow: /
  或者
  User-agent: *
  allow:

  3:禁止所有搜索引擎访问网站中的几个部分,这里以1,2,3代替目录名称
  User-agent: *
  Disallow: /1/
  Disallow: /2/
  Disallow: /3/

  4:禁止某个搜索引擎的访问 
  User-agent: 某个搜索引擎名称
  Disallow: /

  5:只允许某个搜索引擎的访问
  User-agent: 某个搜索引擎名称
  Disallow:

  相关文章推荐:

       SEO优化之HTML头部分常见的标签     https://my.oschina.net/u/2935824/blog/914165

        SEO优化之alt属性和title属性         https://my.oschina.net/u/2935824/blog/914153

© 著作权归作者所有

粉丝 0
博文 10
码字总数 4757
作品 0
渭南
私信 提问
企业网站管理系统-云优 CMS

云优CMS企业网站管理系统(分站版)是一套基于PHP+MYSQL为核心开发的专业营销型企业建站系统。是国内免费+开源自带分站系统的php内容管理系统。长期以来不断的完善、创新,云优CMS会为您带来...

zjqiudan
2017/11/26
2.8K
0
博客系统--M-LOG

M-LOG是一个用Java搭建的博客系统. 该程序使用JDK1.5+、Spring MVC、Hibernate搭建。 M-LOG开发至今,他已经超出了博客的范畴了,他提供了丰富的API(包括数据查询、JSON、XML、字符串、数组...

波哥_
2012/12/06
8.8K
12
M-LOG 博客系统 bae 版本发布

经过多天的努力,mlog-bae 1.2版本终于发布了。 更新内容: 支持链接分类 新增了freemarker模板引擎的widget方法 更新根据分类、标签进行文章的归档 新增系统伪静态功能 下载地址: 百度网盘...

雾非雾的情思
2012/12/07
2.9K
19
prerender-SPA程序的SEO优化策略

随着web2.0的兴起,ajax的时代已经成为了事实,更如今Knockout,backbone, angular,ember前端MDV(model driver view)框架强势而来,Single Page Application已经为大家所熟悉了。如今常见的S...

zting科技
2017/01/10
0
0
谈谈以前端角度出发做好SEO需要考虑什么?

大家好,我是IT修真院北京总院第24期的学员,一枚正直纯洁善良的web程序员 今天给大家分享一下,修真院官网css任务15,深度思考中的知识点——谈谈以前端角度出发做好SEO需要考虑什么? 1.背...

我是一只北极熊啊
2017/11/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
4
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部