文档章节

Crontab mac环境中定时启动scrapy任务

w
 wzm1986
发布于 2017/02/22 08:24
字数 237
阅读 109
收藏 0

编写Crontab任务

每一分钟启动一次任务

*/1 * * * * /Users/myname/run.sh

编写shell任务

#!/bin/bash
PATH=/Library/Frameworks/Python.framework/Versions/2.7/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin:/opt/X11/bin:/Users/wangdong/Downloads/
cd ~/Documents/costco
scrapy crawl blacklenovo

这里要加入PATH的定义,因为cron中的path和用户的path环境变量不一致,所以会出现 scrapy not found的错误。

scrapy not found

编写好任务后,经常会发现任务并没有运行,这可能是因为代码有错误或者cron环境变量问题,如:scrapy not found。 出现以上错误是因为cron的PATH和用户的PATH不一致,cron找不到scrapy的路径。 编写另一个任务打印出cron中的环境变量:

* * * * * env > tmp/cron_env

再打开命令行,输入env;比较两个env,然后在脚本中定义PATH为用户的PATH,这样crontab就可以找到scrapy命令了。

© 著作权归作者所有

w
粉丝 0
博文 3
码字总数 237
作品 0
闸北
私信 提问
gocron - 定时任务web管理系统

gocron - 定时任务管理系统 项目简介 使用Go语言开发的定时任务集中调度和管理系统, 用于替代Linux-crontab 项目地址 功能特性 Web界面管理定时任务, 支持动态添加、删除、编辑任务 crontab时...

记住一座城
2017/05/06
0
0
Mac下使用crontab来实现定时任务

本文转载自:https://www.cnblogs.com/EasonJim/p/7819635.html 说明: 1、Linux和Mac下操作crontab都是一致的 2、配置文件都在/etc/crontab下,如果没有就创建。 3、测试发现直接使用cront...

yingchenwy
2018/08/28
0
0
Mac上,执行定时任务:launchctl

在Mac上定时执行任务 在Mac上,执行定时任务,有两种方式: 使用 沿袭Linux常用的命令 毕竟咱是在mac上开发,这里只讲的用法 1.首先需要编写plist文件 下图是我的一个很简单的任务plist文件:...

shede333
2015/06/24
7.4K
2
定时任务管理系统 - gocron

gocron - 定时任务管理系统 项目简介 使用Go语言开发的轻量级定时任务集中调度和管理系统, 用于替代Linux-crontab 查看文档 原有的延时任务拆分为独立项目延迟队列 功能特性 Web界面管理定时...

匿名
04/29
5K
8
Mac中的定时任务利器:launchctl

launchctl是一个统一的服务管理框架,可以启动、停止和管理守护进程、应用程序、进程和脚本等。 launchctl是通过配置文件来指定执行周期和任务的。 当然mac也可以像linux系统一样,使用cront...

繁著
2017/09/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部