文档章节

【Scrapy学习】 scrapyd 文件配置

ok绷了绷
 ok绷了绷
发布于 2017/05/22 14:56
字数 188
阅读 286
收藏 0

scrapyd配置文件: 如果没有没有配置文件,scrapyd会使用自身的默认值,比如默认每个CPU 最多只执行4个scrapy进程。 CentOS 6.5 64 位 scrapy 1.3.3 scrapyd 1.1.1

如果设置了scrapyd的配置文件: scrapyd会搜索路径:

• /etc/scrapyd/scrapyd.conf (Unix)
• c:\scrapyd\scrapyd.conf (Windows)
• /etc/scrapyd/conf.d/* (in alphabetical order, Unix)
• scrapyd.conf
• ~/.scrapyd.conf (users home directory) 

我的配置文件放在etc /scrapyd/scrapyd.conf 下

[scrapyd]
eggs_dir = /usr/scrapyd/eggs
logs_dir = /usr/scrapyd/logs
jobs_to_keep = 100
dbs_dir = /usr/scrapyd/dbs
max_proc = 0
max_proc_per_cpu = 800
finished_to_keep = 100
poll_interval = 5.0
bind_address = 192.168.17.30
http_port = 6800
debug = off
runner = scrapyd.runner
application = scrapyd.app.application
launcher = scrapyd.launcher.Launcher
webroot = scrapyd.website.Root
[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs

其中在打开web界面时,如果长时间没有操作,后台会报出Timing out..

© 著作权归作者所有

ok绷了绷
粉丝 4
博文 125
码字总数 57978
作品 0
海淀
私信 提问
学会运用爬虫框架 Scrapy (五) —— 部署爬虫

图片来自 unsplash 本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬虫程序。 1 为什...

猴哥Yuri
2017/10/09
0
0
《Learning Scrapy》(中文版)第11章 Scrapyd分布式抓取和实时分析

序言 第1章 Scrapy介绍 第2章 理解HTML和XPath 第3章 爬虫基础 第4章 从Scrapy到移动应用 第5章 快速构建爬虫 第6章 Scrapinghub部署 第7章 配置和管理 第8章 Scrapy编程 第9章 使用Pipelin...

seancheney
2017/09/23
0
0
scrapyd:基于scrapy的爬虫发布管理工具

最近研究scrapy爬虫框架,在整站爬取上及其方便。但是因为boss的需求比较怪异,需要自动化的最大量不同站点做爬取,而scrapy实现上述功能又不够智能和方便。后来在scrapy文档里发现了scrapyd...

zp2006011242
2017/07/11
0
0
芝麻HTTP: 1.9.3-Scrapyd-Client的安装

在将Scrapy代码部署到远程Scrapyd的时候,第一步就是要将代码打包为EGG文件,其次需要将EGG文件上传到远程主机。这个过程如果用程序来实现,也是完全可以的,但是我们并不需要做这些工作,因...

芝麻软件
2018/02/06
19
0
scrapy 进阶使用

前段时间我写了一篇《scrapy快速入门》,简单介绍了一点scrapy的知识。最近我的搬瓦工让墙了,而且我又学了一点mongodb的知识,所以这次就来介绍一些scrapy的进阶知识,做一些真正有用的爬虫...

乐百川
2017/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

让《强化学习(第2版)》架起一座通往强化学习经典知识宝库的桥梁

上交大计算科学与工程系俞凯教授,5分钟口述讲解,带你快速认识了解年度重磅图书《强化学习(第二版)》! 在 AlphaGo战胜李世石之后,AlphaZero以其完全凭借自我学习超越人类在各种棋类游戏...

博文视点Bv
29分钟前
6
0
TLA7-EVM开发板的处理器、NOR FLASH、DDR3

TLA7-EVM开发板是一款由广州创龙基于Xilinx Artix-7系列FPGA自主研发的核心板+底板方式的开发板,可快速评估FPGA性能。核心板尺寸仅70mm*50mm,底板采用沉金无铅工艺的6层板设计,专业的PCB...

Tronlong创龙
37分钟前
4
0
UUID的变种-有序

为了解决UUID无序的问题,NHibernate在其主键生成方式中提供了Comb算法(combined guid/timestamp)。保留GUID的10个字节,用另6个字节表示GUID生成的时间(DateTime)。 /// <summary> //...

Canaan_
38分钟前
5
0
Netty学习(6)——通道间数据传输

1. FileChannel实现通道间的数据传输 在Java NIO中,如果两个通道中有一个是FileChannel,那你可以直接将数据从一个channel传输到另外一个channel。 transferFrom() FileChannel的transferF...

江左煤郎
41分钟前
4
0
AngularDOM操作

gtandsn
42分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部