文档章节

pyspider爬虫学习-API-Response.md

sijinge
 sijinge
发布于 2017/09/08 16:35
字数 490
阅读 34
收藏 0
Response
========
#响应对象属性
The attributes of Response object.

### Response.url

final URL.#最终的URL

### Response.text

Content of response, in unicode.#响应内容,unicode格式

#如果'Response.encoding'为空并且'chardet'模块是可用的,内容编码将被猜测
if `Response.encoding` is None and `chardet` module is available, encoding of content will be guessed.

### Response.content
#响应内容,字节码形式
Content of response, in bytes.

### Response.doc
#(PyQuery)(https://pythonhosted.org/pyquery/)对象的响应的内容。在默认情况下,链接是绝对的。
A [PyQuery](https://pythonhosted.org/pyquery/) object of the response's content. Links have made as absolute by default.
#请参阅PyQuery的文档
Refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)
#我重复一遍,参阅PyQuery的文档是很重要的
It's important that I will repeat, refer to the documentation of PyQuery: [https://pythonhosted.org/pyquery/](https://pythonhosted.org/pyquery/)

### Response.etree
#一个[lxml]响应内容对象
A [lxml](http://lxml.de/) object of the response's content.

### Response.json
#响应的json编码的内容,如果有的话。
The JSON-encoded content of the response, if any.

### Response.status_code

### Response.orig_url
#如果请求中有任何重定向,这里是您通过'self.crawl'提交的url。
If there is any redirection during the request, here is the url you just submit via `self.crawl`.

### Response.headers
#一个不敏感的命令会保存响应的头
A case insensitive dict holds the headers of response.

### Response.cookies

### Response.error
#获取错误消息
Messages when fetch error

### Response.time
#在抓取时间使用
Time used during fetching.

### Response.ok
#如果'status_code'为200并且没有错误时为true
True if `status_code` is 200 and no error.

### Response.encoding
#响应内容编码
Encoding of Response.content.
#如果响应编码是没有,将通过标题或内容或'chardet'(如果可用)来猜测编码。
If Response.encoding is None, encoding will be guessed by header or content or `chardet`(if available).
#手动设置内容编码将覆盖猜测的编码
Set encoding of content manually will overwrite the guessed encoding.

### Response.save
#该对象保存为[`self.crawl`](/apis/self.crawl/#save)API
The object saved by [`self.crawl`](/apis/self.crawl/#save) API

### Response.js_script_result
#由JS脚本返回的内容
content returned by JS script

### Response.raise_for_status()
#如果状态码不是200或'Response.error'存在,则提高HTTPError
Raise HTTPError if status code is not 200 or `Response.error` exists.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
私信 提问
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
04/28
0
0
OS X安装pyspider遇到问题

新手一个,学完python,想玩儿爬虫,可安装pyspider的时候报错不知道怎么回事,于是来请教大牛,截图如下:(另外我是从命令行输入 pip install pyspider 来安装的)...

AaronYun
2015/08/07
697
1
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
05/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

tomcat编译超过64k大小的jsp文件报错原因

  今天遇到一个问题,首先是在tomcat中间件上跑的web项目,一个jsp文件,因为代码行数实在是太多了,更新了几个版本之后编译报错了,页面打开都是报500的错误,500的报错,知道http协议返回...

SEOwhywhy
16分钟前
0
0
flutter http 请求客户端

1、pubspec文件管理Flutter应用程序的assets(资源,如图片、package等)。 在pubspec.yaml中,通过网址“https://pub.dartlang.org/packages/http#-installing-tab-”确认版本号后,将http(0...

渣渣曦
16分钟前
0
0
Django基本命令及moduls举例

一、Django基本命令 1.创建项目 django-admin.py startproject mysite 创建后的项目结构:- mysite - mysite #对整个程序进行配置 - init #导入包专用- settings ...

枫叶云
31分钟前
4
0
zabbix安装

rpm -ivh http://repo.webtatic.com/yum/el6/latest.rpm 安装jdk rpm -ivh (自行在网上下载rpm包) 安装php并修改相应参数 yum -y install php56w php56w-gd php56w-mysqlnd php56w-bcmath......

muoushi
32分钟前
3
0
MySQL自增属性auto_increment_increment和auto_increment_offset

MySQL的系统变量或会话变量auto_increment_increment(自增步长)和auto_increment_offset(自增偏移量)控制着数据表的自增列ID。 mysql> show tables;Empty set (0.00 sec)mysql> CREATE TA......

野雪球
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部