文档章节

芝麻HTTP: 1.9.3-Scrapyd-Client的安装

 芝麻软件
发布于 2018/02/06 09:28
字数 233
阅读 19
收藏 0

在将Scrapy代码部署到远程Scrapyd的时候,第一步就是要将代码打包为EGG文件,其次需要将EGG文件上传到远程主机。这个过程如果用程序来实现,也是完全可以的,但是我们并不需要做这些工作,因为Scrapyd-Client已经为我们实现了这些功能。

下面我们就来看看Scrapyd-Client的安装过程。

1. 相关链接

2. pip安装

这里推荐使用pip安装,相关命令如下:

pip3 install scrapyd-client

3. 验证安装

安装成功后会有一个可用命令,叫作scrapyd-deploy,即部署命令。

我们可以输入如下测试命令测试Scrapyd-Client是否安装成功:

scrapyd-deploy -h

如果出现类似如图1-86所示的输出,则证明Scrapyd-Client已经成功安装。

 

本文转载自:https://cuiqingcai.com/5449.html

粉丝 5
博文 64
码字总数 0
作品 0
徐州
私信 提问
芝麻HTTP:在阿里云上测试Gerapy教程

今天在阿里云上试用了一下,在这里做一个简单的说明。 1、配置环境 阿里云的版本是2.7.5,所以用pyenv新安装了一个3.6.4的环境,安装后使用pyenv global 3.6.4即可使用3.6.4的环境,我个人比...

芝麻软件
2018/01/30
29
0
芝麻HTTP:在阿里云上测试Gerapy教程

1、配置环境 阿里云的版本是2.7.5,所以用pyenv新安装了一个3.6.4的环境,安装后使用pyenv global 3.6.4即可使用3.6.4的环境,我个人比较喜欢这样,切换自如,互不影响。 如下图: 接下来按照...

芝麻软件
2018/01/30
0
0
学会运用爬虫框架 Scrapy (五) —— 部署爬虫

图片来自 unsplash 本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬虫程序。 1 为什...

猴哥Yuri
2017/10/09
0
0
scrapyd:基于scrapy的爬虫发布管理工具

最近研究scrapy爬虫框架,在整站爬取上及其方便。但是因为boss的需求比较怪异,需要自动化的最大量不同站点做爬取,而scrapy实现上述功能又不够智能和方便。后来在scrapy文档里发现了scrapyd...

zp2006011242
2017/07/11
0
0
《Learning Scrapy》(中文版)第11章 Scrapyd分布式抓取和实时分析

序言 第1章 Scrapy介绍 第2章 理解HTML和XPath 第3章 爬虫基础 第4章 从Scrapy到移动应用 第5章 快速构建爬虫 第6章 Scrapinghub部署 第7章 配置和管理 第8章 Scrapy编程 第9章 使用Pipelin...

seancheney
2017/09/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
今天
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部