分布式爬虫共享cookies 方案分析

原创
2017/06/06 10:20
阅读数 61

在采集需要登录的网站时,需要httpclient 保持cookies

单节点情况下可以设计cookie 缓存在内存中,每次使用从缓存中获取,分布式爬虫每次采集请求可能分发到不同的机器上,便会导致请求失败

 

  • 根据缓存启发 可以把本地cookie 缓存改写成 缓存服务,多台机器从缓存服务获取cookie

      本地缓存可以保存某个client  ,免去每次请求组装client  ,改写的线上缓存服务也可以直接提供client

      

 

  • 将cookie 存入数据库(redis)不同机器从数据库获取cookie

       cookies 是一组key -value 值,记录用户状态

       可以使用数据保存,设计一个数据结构保存每次请求之后的cookie 到redis  并本剧 cookie  失效时间

       设置失效时间

 

相比之下,redis 共享方案代码量更少,实现更便捷。

缓存服务功能更加强大,扩展性更好

 

如果遇到网站记录登录ip 就需要 访问使用同一个ip

 

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部