1.url 的遍历和纪录
2.多进程 VS 多线程
3.时间更新控制
4.爬的深度
5.爬虫一般不直接爬对方的网页，一般是通过一个Proxy出去，这个proxy有缓解压力的功能，因为当对方的网页没有更新的时候，只要拿到 header 的 tag就可以了，没有必要全部传输一次了，可以大大节约网络带宽。
6.请有空的时候照看一下robots.txt
7.存储结构。
选择专区和圈子：{{title}}
{{o.name}}
{{m.name}}
公众号
视频号
深圳市奥思网络科技有限公司版权所有
粤ICP备12009483号
