文档章节

Scrapy 1.5.0之命令行

Eappo_Geng
 Eappo_Geng
发布于 2018/06/11 14:46
字数 2327
阅读 88
收藏 0

配置参数

  1. 系统层面: E:\Python 3.6.2\Lib\site-packages\scrapy\templates\project,
  2. 用户层面:~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 及 ~/.scrapy.cfg ($HOME) 作全局设置
  3. 项目定义: 在scrapy项目根路径下的 scrapy.cfg .

优先权:项目定义>用户层面>系统层面

Scrapy也会读取并通过环境变量来设置. 目前支持的有:

  • SCRAPY_SETTINGS_MODULE
  • SCRAPY_PROJECT
  • SCRAPY_PYTHON_SHELL

scrapy.cfg 文件是在项目的根目录,其中包括项目名称与项目设置。

[settings]
default = [name of the project].settings

[deploy]
#url = http://localhost:6800/
project = [name of the project]

Scrapy命令行

在爬虫项目外运行scrapy:

C:\Users\Administrator>scrapy
Scrapy 1.5.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

在项目文件内运行scrapy:

F:\PycharmProjects\tutorial>scrapy
Scrapy 1.5.0 - project: tutorial

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

创建项目

scrapy startproject myproject

该命令将会在 myproject 目录中创建一个Scrapy项目。

接下来,进入到项目目录中:

cd myproject

控制项目

创建一个新的spider:

scrapy genspider mydomain mydomain.com

有些Scrapy命令(比如 crawl)要求必须在Scrapy项目中运行。

有些命令在项目里运行时的效果有些许区别,以fetch命令为例,如果被爬取的url与某个特定spider相关联, 则该命令将会使用spider的动作(spider-overridden behaviours) (比如spider指定的 user_agent)。一般来说, fetch 命令就是用来测试检查spider是如何下载页面。

工具命令行

通过运行命令来获取关于每个命令的详细内容:

scrapy <command> -h

您也可以查看所有可用的命令:

scrapy -h

Scrapy提供了两种类型的命令。

全局命令:

  • fetch: 它使用Scrapy downloader 提取的 URL。
  • runspider: 它用于而无需创建一个项目运行自行包含蜘蛛(spider)。

  • settings: 它规定了项目的设定值。

  • shell: 这是一个给定URL的一个交互式模块。

  • startproject: 它创建了一个新的 Scrapy 项目。

  • version: 它显示Scrapy版本。

  • view: 它使用Scrapy downloader 提取 URL并显示在浏览器中的内容。

项目命令:

  • crawl: 它是用来使用蜘蛛抓取数据;
  • check: 它检查项目并由 crawl 命令返回;

  • list: 它显示本项目中可用蜘蛛(spider)的列表;

  • edit: 可以通过编辑器编辑蜘蛛;

  • parse:它通过蜘蛛分析给定的URL;

  • bench: 它是用来快速运行基准测试(基准讲述每分钟可被Scrapy抓取的页面数量)。

自定义命令:

  • 可以在Scrapy项目中通过COMMANDS_MODULE设置构建一个自定义项目命令。COMMANDS_MODULE = 'mycmd.commands'

startproject

  • 语法: scrapy startproject
  • 是否需要项目: no

在 project_name 文件夹下创建一个名为 project_name 的Scrapy项目。

例子:

$ scrapy startproject myproject

genspider

  • 语法: scrapy genspider [-t template] <name> <domain>
  • 是否需要项目: yes

在当前项目中创建spider。

这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。

例子:

$ scrapy genspider -l  # 查看爬虫模板列表
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider -d basic  # 查看爬虫basic的文本内容
import scrapy

class $classname(scrapy.Spider):
    name = "$name"
    allowed_domains = ["$domain"]
    start_urls = (
        'http://www.$domain/',
        )

    def parse(self, response):
        pass

$ scrapy genspider -t basic example example.com  # 以basic为模板创建example,加上--force参数表示覆盖
Created spider 'example' using template 'basic' in module:
  mybot.spiders.example

crawl

  • 语法: scrapy crawl <spider>
  • 是否需要项目: yes

使用spider进行爬取。

例子:

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

check

  • 语法: scrapy check [-l] <spider>
  • 是否需要项目: yes

运行contract检查,检查爬虫是否合规。

例子:

当某个爬虫文件出现错误时,会报错,包括语法错误。爬虫时通过name唯一标识。

 def parse(self, response):  # 语法不完整
F:\PycharmProjects\tutorial>scrapy check example
Traceback (most recent call last):
  File "e:\python 3.6.2\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "e:\python 3.6.2\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
··········································································

list

  • 语法: scrapy list
  • 是否需要项目: yes

列出当前项目中所有可用的spider。每行输出一个spider。

例子:

$ scrapy list
spider1
spider2

edit

  • 语法: scrapy edit <spider>
  • 是否需要项目: yes

使用 EDITOR 中设定的编辑器编辑给定的spider

该命令仅仅是提供一个快捷方式。开发者可以自由选择其他工具或者IDE来编写调试spider。

例子:

$ scrapy edit spider1  # windows下似乎无效

fetch

  • 语法: scrapy fetch <url>
  • 是否需要项目: no

使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。

该命令以spider下载页面的方式获取页面。例如,如果spider有 USER_AGENT 属性修改了 User Agent,该命令将会使用该属性。

因此,您可以使用该命令来查看spider如何获取某个特定页面。

该命令如果非项目中运行则会使用默认Scrapy downloader设定。

支持的选项:

  • --spider = SPIDER:绕过 spider 自动检测,强制使用特定的spider
  • --headers:打印响应的 HTTP 头,而不是响应的正文
  • - -no-redirect:不遵循 HTTP 3xx 重定向(默认是遵循它们)
F:\PycharmProjects\tutorial>scrapy fetch --nolog http://www.example.com/some/page.html
<!doctype html>
<html>
·················································
</head>

<body>
·················································
</body>
</html>


F:\PycharmProjects\tutorial>scrapy fetch --nolog --headers http://www.example.com/
> Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
> Accept-Language: en
> User-Agent: Scrapy/1.5.0 (+https://scrapy.org)
> Accept-Encoding: gzip,deflate
>
< Cache-Control: max-age=604800
< Content-Type: text/html
< Date: Mon, 11 Jun 2018 06:05:55 GMT
< Etag: "1541025663+gzip"
< Expires: Mon, 18 Jun 2018 06:05:55 GMT
< Last-Modified: Fri, 09 Aug 2013 23:54:35 GMT
< Server: ECS (dca/249E)
< Vary: Accept-Encoding
< X-Cache: HIT

view

  • 语法: scrapy view <url>
  • 是否需要项目: no

在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同。 因此该命令可以用来检查spider所获取到的页面,并确认这是您所期望的。

例子:

$ scrapy view http://www.example.com/some/page.html
[ ... 开启浏览器 ... ]

shell

  • 语法: scrapy shell [url]
  • 是否需要项目: no

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。 查看 Scrapy终端(Scrapy shell) 获取更多信息。

支持的选项:

  • --spider = SPIDER:绕过 spider 自动检测,强制使用特定的spider

  • -c code:评估 shell 中的代码,打印结果并退出

  • --no-redirect:不遵循 HTTP 3xx 重定向(默认是遵循它们);这只影响您可以在命令行上作为参数传递的 URL ;一旦你在shell中,默认情况下 fetch(url)仍然会遵循HTTP重定向。

例子:

$ scrapy shell http://www.example.com/some/page.html
[ ... scrapy shell starts ... ]

parse

  • 语法: scrapy parse <url> [options]
  • 是否需要项目: yes

获取给定的URL并使用相应的spider分析处理。如果您提供 --callback or -c 选项,则使用spider的该方法处理,否则使用 parse

支持的选项:

  • --spider=SPIDER: 跳过自动检测spider并强制使用特定的spider
  • --a NAME=VALUE: 设置spider的参数(可能被重复)
  • --callback or -c: spider中用于解析返回(response)的回调函数
  • --pipelines: 在pipeline中处理item
  • --rules or -r: 使用 CrawlSpider 规则来发现用来解析返回(response)的回调函数
  • --noitems: 不显示爬取到的item
  • --nolinks: 不显示提取到的链接
  • --nocolour: 避免使用pygments对输出着色
  • --depth or -d: 指定跟进链接请求的层次数(默认: 1)
  • --verbose or -v: 显示每个请求的详细信息

例子:

F:\PycharmProjects\tutorial>scrapy parse http://www.example.com/ -c parse_item
2018-06-11 14:29:41 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: tutorial)
2018-06-11 14:29:41 [scrapy.utils.log] INFO: Versions: lxml 4.1.1.0, libxml2 2.9.5, cssselect 1.0.1, parsel 1.2.0, w3lib 1.18.0, Twisted 17.9.0, Python 3.6.2 (v3.6.2:5fd33b5, Jul  8 2017, 04:14:34) [MSC v.1900 32 bit (Intel)], pyOpenSSL 17.3.0 (OpenSSL 1.1.0g  2 Nov 2017), cryptography 2.1.3, Platform Windows-10-10.0.15063-SP0
······················································································

>>> STATUS DEPTH LEVEL 0 <<<
# Scraped Items  ------------------------------------------------------------
[]
# Requests  -----------------------------------------------------------------
[]

settings

  • 语法: scrapy settings [options]
  • 是否需要项目: no

获取Scrapy的设定

在项目中运行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定。

例子:

F:\PycharmProjects\tutorial>scrapy settings --get BOT_NAME
tutorial

F:\PycharmProjects\tutorial>scrapy settings --get DOWNLOAD_DELAY
0

runspider

  • 语法: scrapy runspider <spider_file.py>
  • 是否需要项目: no

在未创建项目的情况下,运行一个编写在Python文件中的spider。

例子:

$ scrapy runspider myspider.py
[ ... spider starts crawling ... ]

version

  • 语法: scrapy version [-v]
  • 是否需要项目: no

输出Scrapy版本。配合 -v 运行时,该命令同时输出Python, Twisted以及平台的信息,方便bug提交。

bench

0.17 新版功能.

  • 语法: scrapy bench
  • 是否需要项目: no

运行benchmark测试。 Benchmarking 。

自定义项目命令

您也可以通过 COMMANDS_MODULE 来添加您自己的项目命令。您可以以 scrapy/commands 中Scrapy commands为例来了解如何实现您的命令。

COMMANDS_MODULE

Default: '' (empty string)

用于查找添加自定义Scrapy命令的模块。

例子:

COMMANDS_MODULE = 'mybot.commands'

© 著作权归作者所有

Eappo_Geng
粉丝 7
博文 101
码字总数 103487
作品 0
徐汇
程序员
私信 提问
Scrapy 1.5.0 发布,Web 爬虫框架

Scrapy 1.5.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。 更新内...

周其
2017/12/30
2.4K
2
Scrapy 1.5.0之选择器

构造选择器 Scrapy选择器是通过文本(Text)或 对象构造的 类的实例。 它根据输入类型自动选择最佳的解析规则(XML vs HTML): 文本构造: 从response构造: (调试未成功) 为了方便起见,r...

Eappo_Geng
2018/09/24
28
0
zg手册 之 scrapy 开发(7)-- 爬虫调试

scrapy 提供的调试方法 scrapy shell 调试选择器 命令行调试 spider web 控制台(运行时) telnet 控制台(运行时查看scrapy对象,检测检测内存泄漏问题) scrapy shell 调试选择器 可以在命...

东昕
2014/05/24
2.5K
0
Scrapy 1.5.0之Spider

爬虫原理 创建一个以百度为名的爬虫,其中spiders/baidu.py内容如下: 对spider来说,爬取的过程如下: 以初始的URL初始化Request,并设置回调函数。 当该request下载完毕并返回时,将生成res...

Eappo_Geng
2018/06/12
91
0
利用Scrapy爬取豆瓣图书并保存至Mysql数据库

Scrapy是一个纯Python语言写的爬虫框架,本次用它来爬取豆瓣图书的数据。 准备工作 没有安装Scrapy的同学需要安装一下,有两种方式安装: 安装了Anaconda的同学直接在命令行输入,片刻后即可...

teaGod
2017/10/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

linux 磁盘不足异常

linux 报 No space left on device 异常 ,则是磁盘不足 ,导致异常 运行 df -h 命令查询磁盘使用率,如果有100%,则查找目录大日志文件删除 1.磁盘不足导致系统应用写入文件失败,如系统日志...

zaolonglei
23分钟前
3
0
即学即用的 30 段 Python 实用代码

☞ 分享:最全最新的Python学习大礼包 ☜ 点击查看 编译:Pita & AI开发者,作者:Fatos Morina Python是目前最流行的语言之一,它在数据科学、机器学习、web开发、脚本编写、自动化方面被许...

Object_Man
24分钟前
3
0
The server time zone value 'EDT' is unrecognized or represents more than one time zone.

2019-10-14 18:07:43.714 ERROR 74363 --- [Druid-ConnectionPool-Create-1855026648] com.alibaba.druid.pool.DruidDataSource : create connection SQLException, url: jdbc:mysql://10.30......

yizhichao
37分钟前
8
0
html加载顺序以及影响页面二次渲染额的因素

本文转载于:专业的前端网站➱html加载顺序以及影响页面二次渲染额的因素 浏览器请求发往服务器以后,返回HTML页面,页面内容开始渲染,具体的执行顺序为: 1. 浏览器开始载入html代码,发现<...

前端老手
39分钟前
9
0
BeginnersBook JSP、JSTL、Servlet 教程

来源:ApacheCN BeginnersBook 翻译项目 译者:飞龙 协议:CC BY-NC-SA 4.0 贡献指南 本项目需要校对,欢迎大家提交 Pull Request。 请您勇敢地去翻译和改进翻译。虽然我们追求卓越,但我们并...

ApacheCN_飞龙
51分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部