文档章节

百度单方面修改网站url导致大量404

perofu
 perofu
发布于 2015/11/12 17:14
字数 581
阅读 204
收藏 2
点赞 0
评论 4

    百度抓取到的内容,用户搜索并访问后,百度改写了url(域名之后的第二个目录),导致出现大量的404,交涉无果,没办法,只能自己修复

1、需求:

        百度给出的url                                                                                正确的url
http://g.perofu.com.cn/x/222/1112345.html      —301——》 http://g.perofu.com.cn/x/111/1112345.htm

    将文章id的前三位数,rewrite到x之后的目录,即不管x之后的第一个目录是什么,都换成文章id的前三位数

2、网站文章规则:
http://g.perofu.com.cn/x/{文章id减后4位}/{文章id}.html

3、错误配置:
#此location,只是做了upstream,url不会变,也可以拿到数据,这样对seo有影响
location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
          rewrite ''^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$''       /wap/x/$2/$2$3.html   break;
          proxy_set_header Host 'g.perofu.com.cn';
          proxy_next_upstream http_502 http_504 error timeout invalid_header;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_redirect      off;
          proxy_connect_timeout 10;
          proxy_read_timeout 60;
          proxy_pass http://WAPATS;
     }

 4、正确配置:

(由于文件不在同个应用下,所以有点麻烦,可能有点乱,主要还是看location吧)

                client     ---> 

                     | 

本机([公网:g.perofu.com.cn],location修改url,再upstream 到ATS)

                     |

                 其他机器

(g.perofu.com.cn仅是虚拟主机,需要配置location,确定文件路径,否则会报404,/data/www/web/3g/是g.perofu.com.cn的主目录且没有其他location,除了/,需要新加上location,把root写为/data/www/web/3g/wap/,用上面的方法,rewrite是有加上/wap的,301只是改写url,请求到其他机器是无法找到url的,因为少了一层目录)

#http://g.perofu.com.cn/x/222/1112345.html   --->   http://g.perofu.com.cn/x/111/1112345.html
#upstream后端需要增加location,把root写为/data1/www/web/3g/wap/,否则报404
location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
                set $dir1 $1;
                set $dir2 $2;
                set $file3 $3;
                if  ( $dir1 != $dir2 ) {
                    rewrite ^/x/(.*)  http://g.perofu.com.cn/x/$dir2/$dir2$file3.html permanent;
                }
          proxy_set_header Host 'g.perofu.com.cn';
          proxy_next_upstream http_502 http_504 error timeout invalid_header;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Real-IP $remote_addr;
          proxy_redirect      off;
          proxy_connect_timeout 10;
          proxy_read_timeout 60;
          proxy_pass http://WAPATS;
     }    


#其他机器
server {
    server_name g.perofu.com.cn;
    set $adddir '/3g';
    root /data/www/web$adddir;
    access_log /data/nginx/logs/3g.access.log tpynormal;

#g.pconline.com.cn,301,需要加上,可查看前端的location ~ '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$'
location ~  '^/x/([\d]{3})/([\d]{3})([\d]{4})\.html$' {
         root /data/www/web/3g/wap/;
}

}

© 著作权归作者所有

共有 人打赏支持
perofu
粉丝 127
博文 148
码字总数 129890
作品 0
广州
系统管理员
加载中

评论(4)

perofu
perofu
之后有单独测试,环境一样,只是location写定了,就可以,看了是qq浏览器的问题
#test
location ~ ^/x/318/7182936.html$ {
perofu
perofu
之后有单独测试,环境一样,只是location写定了,就可以,看了是qq浏览器的问题
#test
location ~ ^/x/318/7182936.html$ {
perofu
perofu
之后又出现新问题,pc端和手机其他浏览器都是ok的,就qq浏览器和微信,打开有问题,即使是正确的url,也会出现404,WTF32,没办法,只能回退了
perofu
perofu
如果多给出几个目录,那真的就没办法了!!!
http://g.perofu.com.cn/x/sb/sb/sb/222/1112345.html
百度站长工具使用指南

大家好,今天小编将给大家分享一下百度站长平台站长工具的详细使用方法。相信很多朋友都对百度站长工具使用方法 不够清楚,如果你觉得自己没用到家的,请跟小编的思路,把它使用方法学习一遍...

跟版网 ⋅ 2016/03/14 ⋅ 0

APACHE_自定义404错误页面

方法一: 在httpd.conf中设置对目录开启。 AllowOverride All 然后在目录里放一个.htaccess(.htaccess),添加: errorDocument 404 /404.php 1.这个的内容根据你的情况改写 。可是有时候当你...

喵王不瞌睡 ⋅ 2014/03/29 ⋅ 0

用shell进行log分析--老狼

ITSEO学员老狼投稿文章首发,转载请注明出处! 锄禾日当午,日志分析为何非要费时一上午呢……………….. 一、开篇要说的话 为何要日志分析昆哥说了:“首先要知道数据做什么用,怎么用,分析...

刀心 ⋅ 2015/06/10 ⋅ 0

网站流量异常?天下数据来支招

流量是一个网站管理人员非常在意的一个指数,流量的高低衡量着我们网站的价值。而我们今天讨论的流量则不同于网站流量。我们今天要讨论的是空间流量。比如,网站中的某张图片是1M,被一个网民流...

冬眠的包子 ⋅ 2015/10/15 ⋅ 0

蜘蛛抓取时http返回码如何设置

下面就是百度spider对常用的http返回码的处理逻辑如下: 一、404 404返回码的含义是“NOT FOUND”,百度会认为网页已经失效,那么通常会从搜索结果中删除,并且短期内spider再次发现这条url...

hchen1982 ⋅ 2012/06/26 ⋅ 1

web页面常见的错误

错误编号 说明 详细说明 401 未授权: 由于凭据无效,访问被拒绝。 您无权使用所提供的凭据查看此目录或页面 401-1 未授权: 由于凭据无效,访问被拒绝。 您无权使用所提供的凭据查看此目录或页...

季_苗 ⋅ 2016/09/18 ⋅ 0

SEO关键词策略

seo关键词策略 选择关键词的六大技巧 列出在整个行业内自己知道或者心中所想的所有关键词,最少列30个 分析竞争对手的网站,看都用了哪些关键词 咨询周围的朋友平时在搜索相关产品的时候会使...

发骚的小逗比 ⋅ 2016/05/05 ⋅ 0

CYQ.IISLogViewer 一款IIS 日志分析工具 V1.0 发布[提供源码]

说几句: 引言: 做SEO的朋友,都会时常分析IIS日志,通过对日志的分析,可以发现网站存在的一些问题,只有对这些问题进行合理的处理后,网站SEO才能做得更好,如何分析IIS日志呢?一条一条看...

晨曦之光 ⋅ 2012/03/09 ⋅ 0

新站上线后应该做哪些有利于seo的工作

seo优化人员一定要重视基础工作,夯实基础会给后期网站优化工作带来很大便利,本篇文章主要是从实操视角审视一下企业网站上线后seoer应该做哪些工作,帮助网站更快获得排名和收录。 1.填写网...

卢松松博客 ⋅ 06/08 ⋅ 0

你的Hexo博客SEO优化了吗?

很多小伙伴们都有属于自己的博客,其中有一部分是基于Hexo搭建的,但是好多都没有做优化,所以就有了本篇文章,希望对你有帮助。 14年的时候搭建过一个用wordpress的博客,不过后面慢慢的转向...

香脆的大鸡排 ⋅ 2017/10/30 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JAVA RMI

什么是JAVA RMI Java RMI (Remote Method Invocation) 远程方法调用,能够让客户端像使用本地调用一样调用服务端 Java 虚拟机中的对象方法。RMI 是面向对象语言领域对 RPC (Remote Proced...

saulc ⋅ 25分钟前 ⋅ 0

Linux系统工程狮养成记

如今的社会,随着时代的发展,出现了很多职业,像电子类,计算机类的专业,出现了各种各样的工程师,有算法工程师,java工程师,前端工程师,后台工程师,Linux工程师,运维工程师等等,不同...

linux-tao ⋅ 35分钟前 ⋅ 0

进入编辑模式 vim命令模式 vim实践

1.

oschina130111 ⋅ 35分钟前 ⋅ 0

mysql用户管理、常用sql语句、mysql数据库备份恢复

1. mysql用户管理 mysql默认有一个root超级管理员账户,实际工作环境中不可能每个人都用此root权限,防止误操作、误删除,可以给单独的用户进行授权。 Mysql创建用户以及授权: grant all on...

laoba ⋅ 36分钟前 ⋅ 0

类型后面三个点(String...)和数组(String[])的区别

类型后面三个点(String…),是从Java 5开始,Java语言对方法参数支持一种新写法,叫可变长度参数列表,其语法就是类型后跟…,表示此处接受的参数为0到多个Object类型的对象,或者是一个Obj...

流氓兔- ⋅ 42分钟前 ⋅ 0

JEPLUS表格组件之表格合并——JEPLUS软件快速开发平台

JEPLUS表格组件之表格合并 我们在列表配置时会遇见这样的一种情况,需要对个人的数据进行统一化,对一些数据进行归类,这样展示出来美观又直观,在这篇笔记中我来给大家介绍下如何配置出来专...

JEPLUS ⋅ 43分钟前 ⋅ 0

golang 并发中全局唯一操作

package main// go 携程共享 数据// 加锁解锁操作// 同步锁import ("sync""fmt")// 创建Once结构var once = sync.Once{}func computed(data *int, lock *sync.Mut...

304158 ⋅ 43分钟前 ⋅ 0

Mobx入门之二:asynchronous actions

这一节主要看mobx怎么实现asynchronous actions 1 要实现的demo功能 输入地名,查询天气,利用openweathermap api 2 思想 observable观察数据:location地点、temperature温度 observer响应式...

pengqinmm ⋅ 46分钟前 ⋅ 0

【2018.0620学习笔记】【linux高级知识 13.4-13.6】

13.4 mysql用户管理 创建用户并授权: grant all on *.* to '用户名'@'ip' identified by '密码' //all是操作权限,*.*是库.表,指定格式是'用户名'@'localhost'才能用socket登录本地 gra...

lgsxp ⋅ 今天 ⋅ 0

Java强弱引用示例

package jdk;import java.lang.ref.PhantomReference;import java.lang.ref.ReferenceQueue;import java.lang.ref.SoftReference;import java.lang.ref.WeakReference;public ......

月下狼 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部