douban.com 豆瓣的日记页面屏蔽了百度蜘蛛

原创
2013/02/04 13:30
阅读数 295

通过curl伪造百度蜘蛛的头,尝试抓取豆瓣上的日记文章,发现返回404.

而谷歌蜘蛛没有被屏蔽。

而经测试,豆瓣的group组文章可以被百度蜘蛛抓取。

最后通过百度搜索豆瓣的日记和组,发现日记文章基本没有收录,就算偶尔有几个也是11年的快照。

组页面正常。 

展开阅读全文
打赏
0
0 收藏
分享
加载中
吾爱博主

引用来自“熊猫与猫无关”的评论

日记里面个人相对私密的东西比较多吧,没人愿意通过百度一搜索就把自己的一堆信息搜索出来吧

可能是吧
2013/02/06 14:28
回复
举报
日记里面个人相对私密的东西比较多吧,没人愿意通过百度一搜索就把自己的一堆信息搜索出来吧
2013/02/06 00:16
回复
举报
更多评论
打赏
2 评论
0 收藏
0
分享
返回顶部
顶部