文档章节

python 爬虫 cookie 的保存和加载

好铁
 好铁
发布于 2016/04/19 00:05
字数 392
阅读 2585
收藏 15

相关库

Cookie (py2) 等于 http.cookie (py3)
cookielib (py2) 等于 http.cookiejar (py3)

python3 处理 cookie

  • 保存到变量
import http.cookiejar, urllib.request
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))
r = opener.open('http://douban.com')
# 此时, cookie 已经保存在 cj 中了
for i in cj:
    print(i.name, i.value)
输出:
bid "a3YOzYxKBc9"
ll "219731"
  • 保存到文件
import http.cookiejar, urllib.request
cj = http.cookiejar.MozillaCookieJar('cookie.txt')
# cj = http.cookiejar.LWPCookieJar() # 可读性更好
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcesser(cj))
r = opener.open('http://douban.com')
cj.save() # 也可以在这里指定保存的文件名 cj.save('new_cookie.txt')
# save() 可设置过期参数 ignore_discard=True: 即使将被丢弃也保存. ignore_expires=True: 即使过期也保存
# cj.save(ignore_discard=True, ignore_expires=True)
  • 从文件加载 cookie
import http.cookiejar, urllib.request
cj = http.cookiejar.MozillaCookieJar()
cj.load('cookie.txt')
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
req = urllib.request.Request('http://douban.com')
r = opener.open(req)
# 上两句可以这样
# r = opener.open('http://douban.com')

python2 处理 cookie

  • 保存到变量
import cookielib, urllib2
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcesser(cj))
r = opener.open('http://douban.com')

requests 库处理 cookie

  • 响应中的cookie
>>> r = requests.get('http://douban.com')
>>> r.cookies.items()
[('bid', '"/cMAIpJIhm0"'), ('ll', '"178229"')]
  • 发送 cookie
>>> url = 'http://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'
  • 通过会话Session保持cookie:
s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")

print(r.text)
# '{"cookies": {"sessioncookie": "123456789"}}'

s.cookies['cookie1'] = 'a'
s.cookies['cookie2'] = 'b'
  • 保存到文件, 从文件加载 requests.cookies.cookielib 相当于 http.cookiejar (py3) 和 cookielib (py2) requests.cookies.RequestsCookieJar 相当于 http.cookiejar.CookieJar (py3) 和 cookielib.CookieJar (py2)
将一个Session实例的cookies属性设置赋值成 一个 CookieJar 实例
import http.cookiejar
s = requests.session  # 或 s = requests.Session()
s.cookies = http.cookiejar.LWPCookieJar('mycookie.txt')
s.get('http://douban.com')
s.save(ignore_expires=True, ignore_discard=True)  # 已保存到 mycookie.txt
s.cookies.clear()   # 清除
s.cookies.load('mycookie.txt') # 从文件加载
# s.cookies.revert() # 这个方法等于先清除后加载

python3 http.cookiejar
python2 cookielib
参考1
参考2
参考3
参考4
requests API文档

© 著作权归作者所有

好铁
粉丝 39
博文 267
码字总数 78926
作品 0
朝阳
程序员
私信 提问
大佬程序员给小白整理出的详细Python爬虫学习路线,机不可失!

Python是一种面向对象、直译式计算机程序设计语言,由Guido van Rossum于1989年底发明。由于他简单、易学、免费开源、可移植性、可扩展性等特点,Python又被称之为胶水语言。下图为主要程序语...

糖宝lsh
01/16
119
0
python项目实战:实现验证码登录网址实例

前言 相信大家都明白,大多数的网站为了不被恶意访问,往往需要设置验证码登录,避免机器人访问,而造成我服务器瘫痪,崩溃,这里用到Python3,主要用到的包是re urllib.request http.cookiejar,下面...

Python学习1
05/14
13
0
网页爬虫--requests--urllib2--cgi

-- --import------import requests 模块---python爬虫---------------------------------------------------------------------------- -- 用Pyhton自带的urllib或urllib2模块抓取网页或许有......

liapple6
2018/10/28
0
0
Python如何编写爬虫程序,附高级爬虫实现思路

今天和大家一起用Python写一个入门爬虫,作为基础课程的最后一讲。也希望给那些学习Python很久却没有思路,不知道如何实现一个爬虫的同学带带节奏,本节课会通过最简单的方式,实现抓取远程网...

程序员补给栈
01/29
68
0
Python爬虫入门:Cookie的使用

大家好哈,上一节我们研究了一下爬虫的异常处理问题,那么接下来我们一起来看一下Cookie的使用。 为什么要使用Cookie呢? Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户...

天才小熊猫QAQ
2017/11/01
44
0

没有更多内容

加载失败,请刷新页面

加载更多

反编译9.png图片还原

本文链接:https://blog.csdn.net/a1140778530/article/details/10528507 经常反编译apk文件找资源,9.png的文件处理起来很麻烦。 最近使用Ant自动编译打包app时,从别处搜罗来的9.png文件导...

shzwork
19分钟前
6
0
Shell脚本应用 – for、while循环语句

一、for循环语句 在实际工作中,经常会遇到某项任务需要多次执行的情况,而每次执行时仅仅是处理的对象不一样,其他命令相同。例如:根据通讯录中的姓名列表创建系统账号等情况。 当面对各种...

linux-tao
19分钟前
5
0
RPA风潮下企业财务工作模式的变革

RPA(机器人流程自动化)在财务领域的应用,正给企业财务带来前所未有的改变。 前RPA时代,财务领域面临的痛点 在RPA机器人应用之前,企业财务工作进程的推进,主要通过财务人员人工操作或信...

UiBot
24分钟前
5
0
Hive之命令行修改表注释

最近遇到一个需求,在不重建表的情况下,修改表的注释,hive有没有类似关系型数据库的SQL命令来修改呢,找了下,亲测有效,如下List-1 List-1 hive>use your_schemahvie>ALTER TABLE tabl...

克虏伯
24分钟前
5
0
是什么,它的作用是什么

在HTML文档的首部往往会有这么一句话<!DOCTYPE html>,许多时候我们忽视了它的存在,它实际上是一个声明,告诉浏览器用哪种HTML版本的规范来解读HTML文档。 尽管我们不给出这句声明浏览器照样...

前端老手
30分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部