文档章节

Scrapy 调试代码

s
 sidiansh
发布于 2016/04/09 17:17
字数 123
阅读 14
收藏 0

取自

Scrapy终端(Scrapy shell)

#判断 url是否是想要的

def parse(self, response):
    if ".org" in response.url:
        from scrapy.shell import inspect_response    #调试语句
        inspect_response(response, self)
>>> response.url
'http://example.org'

测试提取代码:

>>> sel.xpath('//h1[@class="fn"]')
[]

浏览器打开链接

>>> view(response)
True

最后您可以点击Ctrl-D(Windows下Ctrl-Z)来退出终端,恢复爬取:

>>> ^D2014-01-23 17:50:03-0400 [myspider] DEBUG: Crawled (200) <GET http://example.net> (referer: None)

在浏览器中打开URL

from scrapy.utils.response import open_in_browser
    def parse(self, response):
        if "item name" not in response.body:
            open_in_browser(response)


© 著作权归作者所有

上一篇: Scrapy 相同的标签
下一篇: Scrapy 选择器
s
粉丝 1
博文 37
码字总数 17462
作品 0
济南
私信 提问
scrapy爬虫-1-初试页面抓取

本文目标从初建scrapy工程到抓取一个论坛页面,涉及问题: 1、F12页面调试 2、xpath 3、输出抓取数据 创建工程 scrapy [object Object]startproject [object Object]tutorial 代码简单仅需修...

twtcom001
2017/06/13
0
0
用Scrapy shell调试xpath

昨日一道友问我会不会用scrapy shell检查xpath,我表示没搞过,都是直接在代码里硬怼,尴尬。然而其实也没什么难的,在这记录一下方法。 首先还是安利一下国内翻译的scrapy文档,虽然最新的翻...

乐_然
2018/05/04
172
0
zg手册 之 scrapy 开发(7)-- 爬虫调试

scrapy 提供的调试方法 scrapy shell 调试选择器 命令行调试 spider web 控制台(运行时) telnet 控制台(运行时查看scrapy对象,检测检测内存泄漏问题) scrapy shell 调试选择器 可以在命...

东昕
2014/05/24
2.5K
0
PyCharm下进行Scrapy项目的调试

PyCharm下进行Scrapy项目的调试,可以在爬虫项目的根目录创建一个main.py,然后在PyCharm设置下运行路径,那么就不用每次都在命令行运行代码,直接运行main.py就能启动爬虫了。 1、首先创建一...

大黄有故事
2017/06/02
0
0
Scrapy+eChart自动爬取生成网络安全词云

因为工作的原因,近期笔者开始持续关注一些安全咨询网站,一来是多了解业界安全咨询提升自身安全知识,二来也是需要从各类安全网站上收集漏洞情报。 作为安全情报领域的新手,面对大量的安全...

半夜菊花茶
2017/12/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

 介绍一款优秀的通用管理权限快速开发框架

这是一套以权限管理为主的轻量化快速开发框架,配置有流程、专业表单、权限、app、企业微信等基础功能模块,在开发通用软件的效率上很有优势。 软件平台常用研发需求分析 《那些年我们一起做...

我想造火箭
35分钟前
10
0
ElasticDL:蚂蚁金服开源基于 TensorFlow 的弹性分布式深度学习系统

9 月 11 日,蚂蚁金服在2019谷歌开发者大会上海站上开源了 ElasticDL 项目,这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 开源地址为:https://github.com/sql-machine-learni...

SOFAStack
42分钟前
11
0
CSS--渐变

一、什么是渐变 多种颜色平缓变化的一种显示效果 二、渐变的主要元素 色标:一种颜色,以及出现的位置,一个渐变至少两种色标 三、渐变的分类 1、线性渐变 以直线的方式来填充渐变色 backgr...

wytao1995
57分钟前
13
0
Java通过模板生成PDF再转换为图片

1、添加maven依赖 <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.13.1</version></dependency><dependency> <g......

醉美閑聖
今天
9
0
SpringBoot-MVC RequestBody中LocalDateTime的自适应配置

请求的json报文中可能会出现 一下几种: ['2019-01-01','2019-01-01 12:03:34','20190101120334'] 但是接收的Request实体类日期字段是LocalDateTime类型 LocalDateTime applyDate; 希望的情况......

汉堡OSC
今天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部