文档章节

pyspider爬虫学习-API-Response.md

sijinge
 sijinge
发布于 2017/09/08 16:35
字数 490
阅读 204
收藏 0

精选30+云产品,助力企业轻松上云!>>>

Response
========
#响应对象属性
The attributes of Response object.

### Response.url

final URL.#最终的URL

### Response.text

Content of response, in unicode.#响应内容,unicode格式

#如果'Response.encoding'为空并且'chardet'模块是可用的,内容编码将被猜测
if `Response.encoding` is None and `chardet` module is available, encoding of content will be guessed.

### Response.content
#响应内容,字节码形式
Content of response, in bytes.

### Response.doc
#(PyQuery)(https://pythonhosted.org/pyquery/)对象的响应的内容。在默认情况下,链接是绝对的。
A [PyQuery](https://pythonhosted.org/pyquery/) object of the response's content. Links have made as absolute by default.
#请参阅PyQuery的文档
Refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)
#我重复一遍,参阅PyQuery的文档是很重要的
It's important that I will repeat, refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)

### Response.etree
#一个[lxml]响应内容对象
A [lxml](http://lxml.de/) object of the response's content.

### Response.json
#响应的json编码的内容,如果有的话。
The JSON-encoded content of the response, if any.

### Response.status_code

### Response.orig_url
#如果请求中有任何重定向,这里是您通过'self.crawl'提交的url。
If there is any redirection during the request, here is the url you just submit via `self.crawl`.

### Response.headers
#一个不敏感的命令会保存响应的头
A case insensitive dict holds the headers of response.

### Response.cookies

### Response.error
#获取错误消息
Messages when fetch error

### Response.time
#在抓取时间使用
Time used during fetching.

### Response.ok
#如果'status_code'为200并且没有错误时为true
True if `status_code` is 200 and no error.

### Response.encoding
#响应内容编码
Encoding of Response.content.
#如果响应编码是没有,将通过标题或内容或'chardet'(如果可用)来猜测编码。
If Response.encoding is None, encoding will be guessed by header or content or `chardet`(if available).
#手动设置内容编码将覆盖猜测的编码
Set encoding of content manually will overwrite the guessed encoding.

### Response.save
#该对象保存为[`self.crawl`](/apis/self.crawl/#save)API
The object saved by [`self.crawl`](/apis/self.crawl/#save) API

### Response.js_script_result
#由JS脚本返回的内容
content returned by JS script

### Response.raise_for_status()
#如果状态码不是200或'Response.error'存在,则提高HTTPError
Raise HTTPError if status code is not 200 or `Response.error` exists.
sijinge
粉丝 0
博文 48
码字总数 48130
作品 0
广州
架构师
私信 提问
加载中
请先登录后再评论。
PySpider 使用过程中的问题记录

问题记录 PyCurl的问题 安装时出现: 这个问题是系统的libcurl编译方式引起的,更改环境变量为即可。 解决方法来自这里 解决方式: wsgidav的问题 运行时出现 此问题是因为wsgidav最新版为3...

Shaneee
2019/10/10
85
0
【爬虫】进阶修习系列 · 一

本文会涉及以下内容:【不定时修改中。。。】 1. pyspider的介绍; 2. 爬虫架构的典型设计; 3. 垂直搜索引擎的初探。 PySpider 之前的爬虫策略很简单,用得python2.7:urllib2 + Beautiful...

jxfactor
2015/10/22
0
0
pyspider兼容python3.7解决方案

最近再学习python3爬虫,遇到了pyspider不兼容python3.7的问题,记录一下我解决的步骤: 1.找到pyspider安装目录Libsite-packagespyspider e.g:C:Users用户AppDataLocalProgramsPythonPytho...

码叔
03/27
0
0
Pyspider的简单介绍和初使用

Pyspider Pyspider是由国人(binux)编写的强大的网络爬虫系统 Ptspider带有强大的WebUi / 脚本编辑器 / 任务监控器 / 项目管理器以及结果处理器。他支持多种数据库后端 / 多种消息队列 / Java...

osc_2kahpclc
01/13
7
0
Python爬虫:常用爬虫框架介绍

框架概述 其中比较好用的是 Scrapy 和PySpider。pyspider上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。Scrapy自定义程度高,...

魈小沐
2018/07/01
102
0

没有更多内容

加载失败,请刷新页面

加载更多

define()与const - define() vs. const

问题: In PHP, when do you use 在PHP中,何时使用 define('FOO', 1); and when do you use 以及何时使用 const FOO = 1; ? ? What are the main differences between those two? 两者之......

法国红酒甜
22分钟前
26
0
将Node.js升级到最新版本 - Upgrading Node.js to latest version

问题: So, I have Node.js installed and now when I tried to install Mongoosejs I got an error telling me that I don't have the needed version of Node.js (I have v0.4.11 and v0.4......

javail
今天
17
0
等到所有jQuery Ajax请求都完成了吗? - Wait until all jQuery Ajax requests are done?

问题: How do I make a function wait until all jQuery Ajax requests are done inside another function? 我如何让一个函数等到所有jQuery Ajax请求都在另一个函数中完成之后? In short...

富含淀粉
今天
17
0
OSChina 周日乱弹 —— 那么长的绳子,你这是放风筝呢

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @ 巴拉迪维:黑豹乐队的单曲《无地自容》 耳畔突然响起旋律,是那首老歌。中国摇滚有了《一无所有》不再一无所有;中国摇滚有了《无地自容》不...

小小编辑
今天
69
1
《吐血整理》-顶级程序员书单集

你知道的越多,你不知道的越多 给岁月以文明,而不是给文明以岁月 前言 王潇:格局决定了一个人的梦想,梦想反过来决定行为。 那格局是什么呢? 格局是你能够看见的深度、广度和密度。 王潇认...

敖丙
2019/12/11
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部