文档章节

pyspider爬虫学习-API-Response.md

sijinge
 sijinge
发布于 2017/09/08 16:35
字数 490
阅读 25
收藏 0
Response
========
#响应对象属性
The attributes of Response object.

### Response.url

final URL.#最终的URL

### Response.text

Content of response, in unicode.#响应内容,unicode格式

#如果'Response.encoding'为空并且'chardet'模块是可用的,内容编码将被猜测
if `Response.encoding` is None and `chardet` module is available, encoding of content will be guessed.

### Response.content
#响应内容,字节码形式
Content of response, in bytes.

### Response.doc
#(PyQuery)(https://pythonhosted.org/pyquery/)对象的响应的内容。在默认情况下,链接是绝对的。
A [PyQuery](https://pythonhosted.org/pyquery/) object of the response's content. Links have made as absolute by default.
#请参阅PyQuery的文档
Refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)
#我重复一遍,参阅PyQuery的文档是很重要的
It's important that I will repeat, refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)

### Response.etree
#一个[lxml]响应内容对象
A [lxml](http://lxml.de/) object of the response's content.

### Response.json
#响应的json编码的内容,如果有的话。
The JSON-encoded content of the response, if any.

### Response.status_code

### Response.orig_url
#如果请求中有任何重定向,这里是您通过'self.crawl'提交的url。
If there is any redirection during the request, here is the url you just submit via `self.crawl`.

### Response.headers
#一个不敏感的命令会保存响应的头
A case insensitive dict holds the headers of response.

### Response.cookies

### Response.error
#获取错误消息
Messages when fetch error

### Response.time
#在抓取时间使用
Time used during fetching.

### Response.ok
#如果'status_code'为200并且没有错误时为true
True if `status_code` is 200 and no error.

### Response.encoding
#响应内容编码
Encoding of Response.content.
#如果响应编码是没有,将通过标题或内容或'chardet'(如果可用)来猜测编码。
If Response.encoding is None, encoding will be guessed by header or content or `chardet`(if available).
#手动设置内容编码将覆盖猜测的编码
Set encoding of content manually will overwrite the guessed encoding.

### Response.save
#该对象保存为[`self.crawl`](/apis/self.crawl/#save)API
The object saved by [`self.crawl`](/apis/self.crawl/#save) API

### Response.js_script_result
#由JS脚本返回的内容
content returned by JS script

### Response.raise_for_status()
#如果状态码不是200或'Response.error'存在,则提高HTTPError
Raise HTTPError if status code is not 200 or `Response.error` exists.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
04/28
0
0
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
05/15
0
0
Centos7-Pyspider单机版安装

安装的centos版本:CentOS-7-x86_64-DVD-1804.iso 安装的python版本:Python3.6.2 系统为最干净的系统,只安装了一个界面,界面不安装也可以 centos7自带版本为: [root@localhost ~]# pyth...

dong66
07/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

python标准输入输出

input() 读取键盘输入 input() 函数从标准输入读入一行文本,默认的标准输入是键盘。 input 可以接收一个Python表达式作为输入,并将运算结果返回。 print()和format()输出 format()输出...

colinux
16分钟前
0
0
Python 核心编程 (全)

浅拷贝和深拷贝 1.浅拷贝:是对于一个对象的顶层拷贝,通俗的理解是:拷贝了引用,并没有拷贝内容。相当于把变量里面指向的一个地址给了另一个变量就是浅拷贝,而没有创建一个新的对象,如a...

代码打碟手
28分钟前
0
0
PHP 对象比数组省内存?错!数组比对象省内存?错!

刚刚一个群里有人引出了 PHP 数组和对象占用内存谁多谁少的问题。我想起之前我好像也测试过这个问题,和群里人说的对象比数组节省内存的结论相反,我得出的是数组比对象节省内存。 但今天,我...

宇润
45分钟前
1
0
memcached命令行及其用法

21.5 memcached命令行 创建数据 yum install -y telnet 利用telnet命令连接memcached数据库 telnet 127.0.0.1 11211 #写入数据 set key2 0 30 212STORED 这个是错误的示范,因为0 30 已经...

lyy549745
45分钟前
0
0
Maven私服

Maven私服 一、简介 当多人项目开发的时候,尤其聚合项目开发,项目和项目之间需要有依赖关系,通过maven私服,可以保存互相依赖的jar包,这样的话就可把多个项目整合到一起。 如下图: Inst...

星汉
48分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部