文档章节

pyhton爬虫基础学习-requests库

M
 Mr_Dy
发布于 2018/06/20 11:55
字数 340
阅读 8
收藏 0

##导语:

requests是python爬虫的最为常用的方式之一,requests实现http请求非常简单,但是requests库是第三方库需要进行安装,可以通过pip3下载:pip3 install requests requests中文文档

##requests库的7个主要方法: |方法|说明| |-|-| |requests.request()|构造一个请求,是以下请求的基本方法| |requests.get()|获取html网页的主要方法,对应http的get| |requests.head()|获取html网页头信息的方法,对应http的head| |requests.post()|向html页面提交post请求的方法,对应http的post| |requests.put()|向html页面提交put请求的方法,对应http的put| |requests.patch()|向html页面提交局部修改的请求,对应http的patch| |requests.delete()|向页面提交删除请求,对应http的delete|

调用这些方法会返回一response对象,response对象的一些常用方法: response.headers #响应头 response.status_code #响应码 response.text #服务器返回的文本内容 response.content #返回内容的二进制形式 response.raise_for_status #异常处理 响应码不是200就会触发requests.HTTPError response.encoding #通过charset猜测返回内容的编码形式 没有就默认为 iso-8859-1 response.apparent_encoding #通过检查返回内容得到编码形式

##requests实例:

import requests


def get_html_text(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
    except:
        return "异常"
    return r.text


if __name__ == '__main__':
    url = "http://www.baidu.com"
    print(get_html_text(url)[:1000])

© 著作权归作者所有

M
粉丝 0
博文 1
码字总数 340
作品 0
湛江
私信 提问
Mac下python2与python3共存问题

python从入门到放弃; mac os系统里面自带了python2,当我们需要学习python3的时候就要自己安装python3,就会出现python2与python3共存。新手不懂就会出现一系列的问题。 比如安装库的时候就...

服说八道
2018/01/05
0
0
Python 爬虫实战(一):使用 requests 和 BeautifulSoup

Python 爬虫实战(一):使用 requests 和 BeautifulSoup 吴小龙同學2017-12-107 阅读 Python Python 基础 我之前写的《 Python 3 极简教程.pdf 》,适合有点编程基础的快速入门,通过该系列...

吴小龙同學
2017/12/10
0
0
用Python分析豆瓣电影TOP250

既然要分析豆瓣电影TOP250, 那么肯定就要把相关的数据采集下来,比如排名、电影名、导演、主演等信息。 那就肯定使用一下爬虫咯,如果还不会的话,欢迎看之前的文章: Python爬虫学习(一)...

Viljw
2018/01/14
0
0
Python3爬虫视频学习教程

大家好哈,现在呢静觅博客已经两年多啦,可能大家过来更多看到的是爬虫方面的博文,首先非常感谢大家的支持,希望我的博文对大家有帮助! 最近,主要的任务就是开发性感美女图片大全,使用p...

yangjiyue0520
2017/11/18
0
0
零基础爬虫学习全记录2:今日头条指定搜索内容下的所有图集图片保存——图片采集小程序

零基础爬虫学习全记录 无论仅仅有多少基础,都不该在徘徊和犹豫中浪费! 只有放弃幻想,用行动促进思考,才能最快找到想要的路。 背景: 没有任何编程基础的金融学专业学生,C语言都没接触过...

无小意丶
2017/10/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【0918】正则介绍_grep

【0918】正则介绍_grep 9.1 正则介绍_grep上 9.2 grep中 9.3 grep下 一、正则介绍 正则是一串有规律的字符串,它使用单个字符串来描述或匹配一系列符合某个语法规则的字符串。 二、grep工具 ...

飞翔的竹蜻蜓
25分钟前
4
0
为什么要在网站中应用CDN加速?

1. 网页加载速度更快 在网站中使用CDN技术最直接的一个好处就是它可以加快网页的加载速度。首先,CDN加速的内容分发是基于服务器缓存的,由于CDN中缓存了不少数据,它能够给用户提供更快的页...

云漫网络Ruan
今天
8
0
亚玛芬体育(Amer Sports)和信必优正式启动合作开发Movesense创新

亚玛芬体育和信必优正式启动合作开发Movesense创新,作为亚玛芬体育的完美技术搭档,信必优利用Movesense传感器技术为第三方开发移动应用和服务。 Movesense基于传感器技术和开放的API,测量...

symbiochina88
今天
4
0
创龙TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA核心板规格书

SOM-TL437xF是一款广州创龙基于TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA芯片设计的核心板,采用沉金无铅工艺的10层板设计,适用于高速数据采集和处理系统、汽车导航、工业自动化等领...

Tronlong创龙
今天
5
0
好程序员Java学习路线分享MyBatis之线程优化

  好程序员Java学习路线分享MyBatis之线程优化,我们的项目存在大量用户同时访问的情况,那么就会出现大量线程并发访问数据库,这样会带来线程同步问题,本章我们将讨论MyBatis的线程同步问...

好程序员官方
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部