解析robots.txt

原创
2017/03/19 17:07
阅读数 34

总结:使用 can_fetch()函数去判断资源是否可以爬取,如果不可以,就跳过,防止被封 IP。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部