文档章节

Scrapy拿到response后重发request

字节码间
 字节码间
发布于 2017/03/09 08:39
字数 146
阅读 225
收藏 0

代码如下:

import requests


def response_retry(response):
    #request = response.request.copy()
    #original_request_url 为自定义设置的初始请求URL,在用IP代理时部分代理会修改URL
    request = response.request.replace(url = response.meta.get('original_request_url', response.url))
    #retry_times 为自定义重试次数
    retry_times = request.meta.get('retry_times', 0)
    request.dont_filter = True  #这个一定要有,否则重试的URL会被过滤
    request.meta['retry_times'] = retry_times +1
    
    return request

注意,在调用该方法返回request重试时,在爬虫Spider里一定要用yield返回,否则不会重发request。

yield response_retry(response)

© 著作权归作者所有

字节码间
粉丝 1
博文 18
码字总数 5902
作品 0
西安
私信 提问
Scrapy的架构初探

Scrapy,Python开发的一个web抓取框架。 1,引言 Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开源的全部,开源的核心是“开放的思想”,聚合最好的想法...

fullerhua
2016/06/12
702
4
Scrapy的基本使用(三)——Scrapy爬虫的数据类型

Scrapy爬虫的使用步骤 步骤1:创建一个工程和Spider模板 步骤2:编写Spider 步骤3:编写Item Pipeline 步骤4:优化配置策略 Scrapy的数据类型 Request类 Response类 Item类 Request类 class ...

NiceBlueChai
2017/11/27
0
0
scrapy之下载器中间件

下载器中间件 参照scrapy运作流程,请求request在发送给下载器之前和下载器返回响应response的时候,要经过Downloader Middleware,以此可以在此时对request和response做处理 设置下载中间件:建...

LinQiH
2017/10/19
0
0
广西互联网金融平台系列-Scrapy爬虫爬取海金汇平台数据

一、背景 scrapy爬取互联网金融平台,与其他类型网站不同,互联网金融平台有投资列表,其中的循环真是让人烦躁,记录一下。 二、目的 拿到标的信息和投资人记录,并且数据持久化 三、条件 没...

RanboSpider
2018/01/11
32
0
Python Scrapy不重试连接超时【多中间件】

问题 (Question) I've used some proxies to crawl some website. Here is I did in the settings.py: # Retry many times since proxies often failRETRYTIMES = 10# Retry on most error c......

Airship
2016/03/02
2.9K
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.1K
14
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
38
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部