文档章节

Requests库入门

jeffky
 jeffky
发布于 2017/08/26 10:24
字数 815
阅读 4
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

Requests库的安装

win平台:"以管理员身份运行”cmd,执行pip install requests

Requests库的安装小测试

>>> import requests
>>> r=requests.get("http://www.baidu.com")
>>> print(r.status_code)
200

-------------------------------------------------------------------------------------------------------------

Requests库的7个主要方法

方法 说明
requests.request() 构造一个请求,支撑以下各方法的基础方法
requests.get() 获取HTML页面的主要方法,对应于HTTP的GET
requests.head() 获取HTML页面头信息的方法,对应于HTTP的HEAD
requests.post() 向HTML页面提交post请求的方法,对应于HTTP的POST
requests.put() 向HTML页面提交put请求方法,对应于HTTP的PUT
requests.patch() 向HTML页面提交局部修改请求,对应于HTTP的PATCH
requests.delete() 向HTML页面提出删除请求,对应于HTTP的DELETE

-------------------------------------------------------------------------------------------------------------

Requests库的get()方法

requests.get

r = requests.get(url)   --->构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象

requests.get(url,params=None,**kwarge)

  1. url:拟获得页面的url链接
  2. params:url中的额外参数,字典或字节流格式,可选
  3. **kwargs:12个控制访问的参数

Resquests库的两个重要对象

ResponseRequest

Response对象包含爬虫返回的内容

------------------------------------------------------------------------------------------------------------

Response对象

Response对象包含服务器返回的所有信息,也包含请求的Request信息

Response对象的属性

属性 说明
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP响应内容的字符串形式,即url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出响应内容涵盖编码方式(备选编码方式)

r.content

HTTP响应内容的二进制形式

 

------------------------------------------------------------------------------------------------------------

Requests库的异常

Exception  ---->网络连接有风险,异常处理很重要

 

理解Requests库的异常
异常 说明
requests.ConnectionError 网络连接错误异常,如DMS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,产生超时异常

------------------------------------------------------------------------------------------------------------

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if _name_ == "_main_":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

------------------------------------------------------------------------------------------------------------

HTTP协议

(Hypertext Transfer Protocol,超文本传输协议)

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议

HTTP协议采用URl作为定位网络资源的标识,URL格式如下

http://host[:port][path]
  • host:合法的Internet主机域名或IP地址
  • port:端口号,缺省端口为80
  • path:请求资源的路径

URL:是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源

HTTP协议对资源的操作
方法 说明
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT

请求向URL位置存储一个资源,覆盖原URL位置的资源

PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源

 

© 著作权归作者所有

jeffky
粉丝 0
博文 9
码字总数 11214
作品 0
海淀
私信 提问
加载中

评论(0)

python测试工具开发面试宝典3web抓取

用requests输出网站返回头 输出'https://china-testing.github.io/'的返回头 参考答案 requests是HTTP访问极其重要的库,比较常用的属性有:response.status_code、response.text。 更多参考...

python测试开发人工智能安全
2018/10/16
79
0
python爬虫入门-开发环境与小例子

python爬虫入门 开发环境 ubuntu 16.04 sublime pycharm requests库 requests库安装: 第一个例子 运行结果如下,成功抓取了百度的源代码 现在来详细讲解 就是导入了requests库,这是一个爬虫...

osc_5s0xzojq
2018/01/11
0
0
小白学 Python 爬虫(37):爬虫框架 Scrapy 入门基础(五) Spider Middleware

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学...

osc_wme0cmft
04/16
17
0
小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础(七)对接 Selenium 实战

人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学...

osc_i05nmotv
04/16
2
0
【Python爬虫】01:网络爬虫--规则

Python网络爬虫与信息提取 目标:掌握定向网络数据爬取和网页解析的基本能力。 the website is the API 课程分为以下部分: 1、requsets库(自动爬取HTML页面、自动网络请求提交) 2、robot...

osc_2r66rowx
2018/06/22
1
0

没有更多内容

加载失败,请刷新页面

加载更多

如何制作出色的R可重现示例 - How to make a great R reproducible example

问题: This post is a Community Wiki . 这篇文章是社区维基 。 Edit existing answers to improve this post. 编辑现有答案以改善此职位。 It is not currently accepting new answers. 它......

技术盛宴
2分钟前
8
0
windows下修改默认mysql编码

查看编码格式: 进入mysql执行下面语句 show variables like '%character%'; 修改编码格式: set character_set_client=utf8;set character_set_connection=utf8;set character_set_da......

珞木橘子
7分钟前
11
0
ArrayList与LinkList性能对比----新增元素

在聊到 ArrayList 和 LinkList 的时候都会这么说 ArrayList 底层是基于数组实现的内存地址物理上是连续的,新增,删除效率低,查询效率高 LinkList 是基于链表实现的,逻辑地址是连续的内存地...

Lbj虞
28分钟前
34
0
Nginx

想了解nginx的代理可以先看这篇: https://baijiahao.baiducom/s?id=1652608869911988442&wfr=spider&for=pc nginx常用命令 nginx -t ##检查配置文件,一般修改完配置文件都建议一定先执行这...

UItraman
昨天
24
0
新基建的福音:智慧楼宇可视化监控系统引领智能化新时代

前言 智慧楼宇和人们的生活息息相关,楼宇智能化程度的提高,会极大程度的改善人们的生活品质,在当前工业互联网大背景下受到很大关注。目前智慧楼宇可视化监控的主要优点包括: 智慧化 -- 智...

xhload3d
昨天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部