浏览器模拟登录验证码及其缓存----项目小结

2018/07/23 20:37
阅读数 18

  【前言】介绍一下项目模拟登陆和session以及csrf解决方案

一、验证码模拟登陆

  1、前两天实现的基于webdriver的,弹出登录界面,截取验证码的方案被否决,因为服务器是没有图形界面的。所以,还是得从模拟登陆界面保持的角度去解决这个问题。期货中心的网站防爬性是非常高的。需要注入token;最让我头疼是,还有一个url固定,随机刷新的验证码。导致无法从get()的网页上的验证码地址下载到和token一起发过来的验证码。每次解析地址将验证码写入到png图片时,都是刷新后的另一个验证码。错误代码如下:

1 Img2 = re.compile(r'img id="imgVeriCode" src="/(.*?)"/>')
2 imgurl_1 = re.findall(Img2, r2)
3 imgurl= 'https://investorservice.cfmmc.com/'+imgurl_1[0]      
4 imgbuf = s.get(imgurl,headers=bef_headers)            #得不到真正的验证码,因为一个验证码url对应很多随机验证码,每次解析获取相当于刷新一次
5 with open("captcha.png","wb") as f: 6 f.write(imgbuf.content)

验证码地址:https://investorservice.cfmmc.com/veriCode.do?t=1532349129376

  2、无论保持session还是携带cookie,都无发避免要输入一次验证码,才能登陆上去。可是怎么获取正确的验证码呢?

  其实,还是对浏览器和服务器之间的通信机制不清楚。这是浏览器缓存机制,我可以发现验证码最后是一个时间戳(t=...)。所以,要得到缓存里没有的验证码,最新的验证码,如果验证码url是从网页分析出来的,其实这个url已经存在浏览器缓存里面了,get()不会向服务器请求,那怎么得到imgbuf呢?。加上时间戳,就解决了,其实可以看到即使在验证码url里去掉时间戳那一段,也可以请求到验证码。有人说加随机数也可以,我没试。核心就是不让浏览器去缓存中去取。

 1 s = requests.Session()
 2 headers = {"User-Agent":"Mozilla/5.0"}
 3 r = s.get("https://investorservice.cfmmc.com/login.do")
 4 value = re.findall(r'name="org.apache.struts.taglib.html.TOKEN" value="(.*?)"',r.text)[0]
 5 captcha = s.get("https://investorservice.cfmmc.com/veriCode.do?t={}".format(str(int(time.time()))), headers=headers)
 6 with open("captcha.png","wb") as f:
 7     f.write(captcha.content)
 8 user_name='huangfuyuan'
 9 passwd = 'xbxxxdx'
10 vericode = yanzheng_local()   #ocr深度学习识别方法
11 print vericode
12 data = {
13     "org.apache.struts.taglib.html.TOKEN":value,
14     "showSaveCookies":"hfy",
15     "userID":user_name,
16     "password":passwd,
17     "vericode":vericode,
18 }
19 login = s.post("https://investorservice.cfmmc.com/login.do", headers=headers, data=data)
20 #返回值是一个respond的对象,s已经保持登录了
21 new_url=s.get("https://investorservice.cfmmc.com/customer/setupViewCustomerDetailFromCompanyAuto.do")
22 print new_url.url
23 #print(new_url.text)
24 while new_url.url!="https://investorservice.cfmmc.com/customer/setupViewCustomerDetailFromCompanyAuto.do":
25     print "验证码没有识别正确,请重新启动"
26     exit(0)

要加深对浏览器前端的学习,我不是干这个的,浅尝辄止吧!完美解决“python验证码保持登录遇到动态验证码问题”。

二、session保持登录

  从返回的cookie来看,里面有jessionid,是一种集群的tomcat服务器。里面可能有nginx反向代理服务器,这对我们透明不必在意。所以,他的分布式session解决方案是每次访问携带jessionid。当然还有很多方法解决分布式session,例如session服务器,可参考我

三、token解决csrf

  爬区网页token,登录携带。

value = re.findall(r'name="org.apache.struts.taglib.html.TOKEN" value="(.*?)"',r.text)[0]

  

                                             ————2018.7.23  23.32深圳平山村的出租屋。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部