文档章节

Requests库入门

jeffky
 jeffky
发布于 2017/08/26 10:24
字数 815
阅读 3
收藏 0

Requests库的安装

win平台:"以管理员身份运行”cmd,执行pip install requests

Requests库的安装小测试

>>> import requests
>>> r=requests.get("http://www.baidu.com")
>>> print(r.status_code)
200

-------------------------------------------------------------------------------------------------------------

Requests库的7个主要方法

方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML页面的主要方法,对应于HTTP的GET
requests.head() 获取HTML页面头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML页面提交post请求的方法,对应于HTTP的POST
requests.put() 向HTML页面提交put请求方法,对应于HTTP的PUT
requests.patch() 向HTML页面提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提出删除请求,对应于HTTP的DELETE

-------------------------------------------------------------------------------------------------------------

Requests库的get()方法

requests.get

r = requests.get(url)   --->构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象

requests.get(url,params=None,**kwarge)

  1. url:拟获得页面的url链接
  2. params:url中的额外参数,字典或字节流格式,可选
  3. **kwargs:12个控制访问的参数

Resquests库的两个重要对象

ResponseRequest

Response对象包含爬虫返回的内容

------------------------------------------------------------------------------------------------------------

Response对象

Response对象包含服务器返回的所有信息,也包含请求的Request信息

Response对象的属性

属性 说明
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP响应内容的字符串形式,即url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出响应内容涵盖编码方式(备选编码方式)

r.content

HTTP响应内容的二进制形式

 

------------------------------------------------------------------------------------------------------------

Requests库的异常

Exception  ---->网络连接有风险,异常处理很重要

 

理解Requests库的异常
异常 说明
requests.ConnectionError 网络连接错误异常,如DMS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,产生超时异常

------------------------------------------------------------------------------------------------------------

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if _name_ == "_main_":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

------------------------------------------------------------------------------------------------------------

HTTP协议

(Hypertext Transfer Protocol,超文本传输协议)

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议

HTTP协议采用URl作为定位网络资源的标识,URL格式如下

http://host[:port][path]
  • host:合法的Internet主机域名或IP地址
  • port:端口号,缺省端口为80
  • path:请求资源的路径

URL:是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源

HTTP协议对资源的操作
方法 说明
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT

请求向URL位置存储一个资源,覆盖原URL位置的资源

PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源

 

© 著作权归作者所有

共有 人打赏支持
jeffky
粉丝 0
博文 9
码字总数 11214
作品 0
海淀
requests+lxml爬虫利器

requests 1.requests是一个强大的Python第三方Http库,基于httplib和urllib3,接口清晰易用,功能十分强大。 ###1. 安装 pip install requests或者easy_install requests ###2. 基本使用 在i...

曾劲松
2016/10/04
90
0
Python爬虫:爬取人人都是产品经理的数据

爬取内容: 人人都是产品经理首页(www.woshipm.com)左侧【最新文章】下如图样式的文章标题、浏览量和缩略图。 思路: 1. 用BeautifulSoup解析网页 变量名 = BeautifulSoup(网页信息,'lxml'...

bestdwd
2017/05/22
0
0
Python 爬虫实战(一):使用 requests 和 BeautifulSoup

Python 爬虫实战(一):使用 requests 和 BeautifulSoup 吴小龙同學2017-12-107 阅读 Python Python 基础 我之前写的《 Python 3 极简教程.pdf 》,适合有点编程基础的快速入门,通过该系列...

吴小龙同學
2017/12/10
0
0
Python爬虫入门 | 1 Python环境的安装

这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源。看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内...

DC学院
2017/12/14
0
0
Python网络爬虫基础及Requests库入门

Robots协议 网络爬虫的问题 在讲python网络爬虫之前,先来看看网络爬虫的一些问题以及robots协议。首先python爬虫功能主要使用的库有Requests库和Scrapy库。他们的区别如下: 正常情况下Web...

zengxiantao1994
2017/10/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

异步化,高并发大杀器

今天来聊聊如何让项目异步化的一些事。 在进入正文之前,顺便给大家推荐一个Java架构方面的交流学习群:698581634,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分...

Java大蜗牛
10分钟前
0
0
织梦dedecms安全设置

网站本身做好防范: 1、修改默认后台名。 打开网站根目录,找到[dede],这个文件夹就是后台的路径,可以随意修改,比如修改为[adminbuy],此时后台登陆的路径为:http://www.*****.com/admi...

雨季2014
10分钟前
0
0
完美Python入门基础知识点总结,看完你的Python就完全入门了!

Python标识符 在 Python 里,标识符有字母、数字、下划线组成。 在 Python 中,所有标识符可以包括英文、数字以及下划线(_),但不能以数字开头。 Python 中的标识符是区分大小写的。 以下划线...

糖宝lsh
17分钟前
0
0
Java关于前后台传输中文乱码以及Excel下载乱码解决

针对乱码,一般情况是前后台以及中间件编码格式不同导致.故需要保证编码格式相同即可. 1.前台页面格式指定,这里用的是jsp,故需要将pageEncoding指定为"UTF-8" 2.指定服务器编码格式,比如用的t...

勤奋的蚂蚁
19分钟前
0
0
Flutter组件 - Flexible

Flexible是一个控制Row、Column、Flex等子组件如何布局的组件。 Flexible组件可以使Row、Column、Flex等子组件在主轴方向有填充可用空间的能力(例如,Row在水平方向,Column在垂直方向),但是...

一箭落旄头
22分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部