文档章节

pyspider爬虫学习-API-Response.md

sijinge
 sijinge
发布于 2017/09/08 16:35
字数 490
阅读 29
收藏 0
Response
========
#响应对象属性
The attributes of Response object.

### Response.url

final URL.#最终的URL

### Response.text

Content of response, in unicode.#响应内容,unicode格式

#如果'Response.encoding'为空并且'chardet'模块是可用的,内容编码将被猜测
if `Response.encoding` is None and `chardet` module is available, encoding of content will be guessed.

### Response.content
#响应内容,字节码形式
Content of response, in bytes.

### Response.doc
#(PyQuery)(https://pythonhosted.org/pyquery/)对象的响应的内容。在默认情况下,链接是绝对的。
A [PyQuery](https://pythonhosted.org/pyquery/) object of the response's content. Links have made as absolute by default.
#请参阅PyQuery的文档
Refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)
#我重复一遍,参阅PyQuery的文档是很重要的
It's important that I will repeat, refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)

### Response.etree
#一个[lxml]响应内容对象
A [lxml](http://lxml.de/) object of the response's content.

### Response.json
#响应的json编码的内容,如果有的话。
The JSON-encoded content of the response, if any.

### Response.status_code

### Response.orig_url
#如果请求中有任何重定向,这里是您通过'self.crawl'提交的url。
If there is any redirection during the request, here is the url you just submit via `self.crawl`.

### Response.headers
#一个不敏感的命令会保存响应的头
A case insensitive dict holds the headers of response.

### Response.cookies

### Response.error
#获取错误消息
Messages when fetch error

### Response.time
#在抓取时间使用
Time used during fetching.

### Response.ok
#如果'status_code'为200并且没有错误时为true
True if `status_code` is 200 and no error.

### Response.encoding
#响应内容编码
Encoding of Response.content.
#如果响应编码是没有,将通过标题或内容或'chardet'(如果可用)来猜测编码。
If Response.encoding is None, encoding will be guessed by header or content or `chardet`(if available).
#手动设置内容编码将覆盖猜测的编码
Set encoding of content manually will overwrite the guessed encoding.

### Response.save
#该对象保存为[`self.crawl`](/apis/self.crawl/#save)API
The object saved by [`self.crawl`](/apis/self.crawl/#save) API

### Response.js_script_result
#由JS脚本返回的内容
content returned by JS script

### Response.raise_for_status()
#如果状态码不是200或'Response.error'存在,则提高HTTPError
Raise HTTPError if status code is not 200 or `Response.error` exists.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
04/28
0
0
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
05/15
0
0
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
网络爬虫08: PySpider爬虫框架

爬虫的基础知识到这里,已经可以暂时告一段落,接下来就是学会使用框架来写爬虫,用框架会使爬虫代码更加简洁。在这之前,我也了解了一下关于Python爬虫都有哪些框架 Python常用爬虫框架 1....

代码打碟手
09/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

LSM-Tree 大数据索引技术

一、LSM-Tree概述 核心思想就是放弃部分读能力,换取写入能力的最大化。LSM-Tree ,这个概念就是结构化合并树(Log-Structured Merge Tree)的意思,它的核心思路其实非常简单,就是假定内存...

PeakFang-BOK
17分钟前
0
0
vue.js响应式原理解析与实现

从很久之前就已经接触过了angularjs了,当时就已经了解到,angularjs是通过脏检查来实现数据监测以及页面更新渲染。之后,再接触了vue.js,当时也一度很好奇vue.js是如何监测数据更新并且重新...

peakedness丶
23分钟前
0
0
Weblogic补丁升级操作步骤

linux平台: weblogic1036 1:停止weblogic服务 2:打FMJJ补丁 a:获取weblogic_home目录并执行命令:export weblogic_home="/weblogic/wls1036_x64",(此目录一般为目录“user_projects”上...

fang_faye
36分钟前
0
0
04-《Apache Tomcat 9 User Guide》之部署项目

1.Introduction Deployment is the term used for the process of installing a web application (either a 3rd party WAR or your own custom web application) into the Tomcat server. 部......

飞鱼说编程
36分钟前
0
0
一位十年的老码农他眼中的区块链

大家可能已经听说过比特币、莱特币、以太币等等,以及它们作为一种新货币在市场上的潜力。 有趣的是,很多投资比特币的人也提到了区块链之类的东西。 显然,这项技术是比特币等其他东西的"基...

小刀爱编程
44分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部