python的requests初步使用

原创
2014/06/16 00:43
阅读数 20.8W

早就听说requests的库的强大,只是还没有接触,今天接触了一下,发现以前使用urllib,urllib2等方法真是太搓了……

这里写些简单的使用初步作为一个记录

一、安装 http://cn.python-requests.org/en/latest/user/install.html#install

二、发送无参数的get请求

>>> r = requests.get('http://httpbin.org/get')
>>> print r.text
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.3.0 CPython/2.6.6 Windows/7", 
    "X-Request-Id": "8a28bbea-55cd-460b-bda3-f3427d66b700"
  }, 
  "origin": "124.192.129.84", 
  "url": "http://httpbin.org/get"
}

三、发送带参数的get请求,将key与value放入一个字典中,通过params参数来传递,其作用相当于urllib.urlencode

>>> import requests
>>> pqyload = {'q':'杨彦星'}
>>> r = requests.get('http://www.so.com/s',params = pqyload)
>>> r.url
u'http://www.so.com/s?q=%E6%9D%A8%E5%BD%A6%E6%98%9F'

四、发送post请求,通过data参数来传递,

>>> payload = {'a':'杨','b':'hello'}
>>> r = requests.post("http://httpbin.org/post", data=payload)
>>> print r.text
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "a": "\u6768", 
    "b": "hello"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "19", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.3.0 CPython/2.6.6 Windows/7", 
    "X-Request-Id": "c81cb937-04b8-4a2d-ba32-04b5c0b3ba98"
  }, 
  "json": null, 
  "origin": "124.192.129.84", 
  "url": "http://httpbin.org/post"
}
>>>

可以看到,post参数已经传到了form里,data不光可以接受字典类型的数据,还可以接受json等格式

>>> payload = {'a':'杨','b':'hello'}
>>> import json
>>> r = requests.post('http://httpbin.org/post', data=json.dumps(payload))

五、发送文件的post类型,这个相当于向网站上传一张图片,文档等操作,这时要使用files参数

>>> url = 'http://httpbin.org/post'
>>> files = {'file': open('touxiang.png', 'rb')}
>>> r = requests.post(url, files=files)

5.1 定制headers,使用headers参数来传递

>>> import json
>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}
>>> headers = {'content-type': 'application/json'}

>>> r = requests.post(url, data=json.dumps(payload), headers=headers)

 

六、响应内容

6.1 响应状态码

r = requests.get('http://httpbin.org/get')
print r.status_code
6.2 响应头

>>> print r.headers
{'content-length': '519', 'server': 'gunicorn/18.0', 'connection': 'keep-alive', 'date': 'Sun, 15 Jun 2014 14:19:52 GMT', 'access-control-allow-origin': '*', 'content-type': 'application/json'}

也可以取到这个个别的响应头用来做一些判断,这里的参数是不区分大小写的

r.headers[‘Content-Type’]

r.headers.get(‘Content-Type’)

6.3 响应内容,前面已经在应用了

r.text

r.content

 

七、获取响应中的cookies

>>> r = requests.get('http://www.baidu.com')
>>> r.cookies['BAIDUID']
'D5810267346AEFB0F25CB0D6D0E043E6:FG=1'

也可以自已定义请求的COOKIES

>>> url = 'http://httpbin.org/cookies'
>>> cookies = {'cookies_are':'working'}
>>> r = requests.get(url,cookies = cookies)
>>> 
>>> print r.text
{
  "cookies": {
    "cookies_are": "working"
  }
}
>>>

cookies还有很多,因为目前我也还不是很多,以后再扩充吧

八、使用timeout参数设置超时时间

>>> requests.get('http://github.com', timeout=1)
<Response [200]>

如果将时间设置成非常小的数,如requests.get('http://github.com', timeout=0.001),那么如果在timeout的时间内没有连接,那么将会抛出一个Timeout的异常

九、访问中使用session

先初始化一个session对象,s = requests.Session()
然后使用这个session对象来进行访问,r = s.post(url,data = user)

 

参考文章 http://blog.csdn.net/iloveyin/article/details/21444613 基本上都是从这扒的代码

 

以下通过访问人人网来获取首页中的最近来访问,然后再访问查看更多的来访来读取更多的最近来访

更多的来访就是以带session的访问http://www.renren.com/myfoot.do

#coding:utf-8
import requests
import re

url = r'http://www.renren.com/ajaxLogin'

user = {'email':'email','password':'pass'}
s = requests.Session()
r = s.post(url,data = user)

html = r.text
visit = []
first = re.compile(r'</span><span class="time-tip first-tip"><span class="tip-content">(.*?)</span>')
second = re.compile(r'</span><span class="time-tip"><span class="tip-content">(.*?)</span>')
third = re.compile(r'</span><span class="time-tip last-second-tip"><span class="tip-content">(.*?)</span>')
last = re.compile(r'</span><span class="time-tip last-tip"><span class="tip-content">(.*?)</span>')
visit.extend(first.findall(html))
visit.extend(second.findall(html))
visit.extend(third.findall(html))
visit.extend(last.findall(html))
for i in visit:
    print i

print '以下是更多的最近来访'
vm = s.get('http://www.renren.com/myfoot.do')
fm = re.compile(r'"name":"(.*?)"')
visitmore = fm.findall(vm.text)
for i in visitmore:
    print i

renren

展开阅读全文
打赏
10
23 收藏
分享
加载中
def token(requset):
app_Id=r'wx30090711b791a06f'
app_Secret=r'73574239e4bd500f9509315782744db9'
url = r' http://api.weixin.qq.com/cgi-bin/token?grant_type=client_credential&appid=app_Id & secret=app_Secret ' # 获取 access_token
#% (
#Config.AppID, Config.AppSecret)
tokenResult = urllib2.urlopen(url).read()
Config.access_token = json.loads(tokenResult).get('access_token')
print 'access_token===%s' % Config.access_token
return HttpResponse(tokenResult)

def createMenu(request):
url = r"https://api.weixin.qq.com/cgi-bin/menu/addconditional?access_token=%s" % Config.access_token
meau = {

"button":[

{
"name":"首页", # 一级菜单
"sub_button":
[ # 二级菜单
{
这样创建菜单对吗?需要在什么改改呢?
2016/06/16 13:29
回复
举报
看了你爬人人网访客的例子,觉得挺有意思,但是没有看懂,有时间能够给讲解一下,谢谢!!PS依葫芦画瓢爬QQ空间的访客,没有爬出来
2016/04/09 11:19
回复
举报
Python果然方便
2015/10/16 10:42
回复
举报
更多评论
打赏
3 评论
23 收藏
10
分享
返回顶部
顶部