文档章节

crontab执行时无法加载环境变量

木子SMZ
 木子SMZ
发布于 2018/10/17 17:29
字数 377
阅读 87
收藏 1

    先描述一下场景,公司使用亚马逊EMR集群执行spark任务,每天执行,所以写了个python脚本。定时启动emr集群并发送任务,起线程检测每个emr集群工作状态,工作结束后关闭emr集群。python脚本工作无异常,但是通过crontab调用时会不停的报无法获取授权错误,这里是将任务注册在/etc/crontab中。

    度娘了很多种解决方法,都没起作用,最后在亚马逊论坛中找到一个相似的情况,在试过评论中所有发法后,解决。----将任务注册到指定用户的crontab中

   crontab -e

    问题完美解决,我接触linux时间并不太长,根据我的理解是指定用户crontab时不是nologin状态,会用用户的身份去执行,记录一下,希望能帮助到相似情况的朋友。

 

PS:我linux机器环境相对较乱,引发问题的原因可能有很多,并不一定是最好的解决方法,等我找到具体的原因后再来更新。

 

© 著作权归作者所有

木子SMZ
粉丝 2
博文 34
码字总数 22804
作品 0
昌平
程序员
私信 提问
python crontab 坑

最近用Python写了一些数据统计的脚本,并使用crontab自动执行,但是配置crontab总是要过几个坑才行的,这里总结一下这次遇到的坑。 输出 要将crontab命令的输出记录到日志文件中,可以使用重...

大胡桃夹子
2017/12/06
0
0
【小白学云计算】关于Web服务器Nginx反向代理GitHub Page的一点思考(bash脚本)

1 背景 今天处理了下放在腾讯云的网站的服务器的一个小问题。 由于我把简历放在了GithubPage上了,但是本人又不甘心只能墙外人看到,因此就通过墙内腾讯云服务器,配置了nignx做了反向代理到...

2017/12/18
0
0
Linux定时任务Crontab

1.安装cron vixie-cron软件包是cron的主程序; crontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序 2.设置为开机自启 查看crontab服务是否已设置为开机启动,执行命...

_周小董
2018/05/22
0
0
linux中的定时任务crontab

相比用于安排一次性任务的at命令,crontab命令主要是用于安排一些周期性的任务,比如 定期备份数据、定时杀毒、定期清理垃圾文件等。 Linux中的cron进程是一个主要的系统调度进程,可以在后台...

神勇小白鼠
2011/07/22
0
0
开机启动和定时任务启动失败(环境变量丢失)总结

2017年2月17日 前几天设置activemq开机启动总是失败,也没找到原因,后来打算加到定时任务中,任然失败,这次学聪明了, 通过查看cat /var/log/cron知道,定时任务脚本是执行了的 输出日志到...

aaa奇奇aaa
2017/02/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最开始学习素描的步骤是什么?

最开始学习素描的步骤是什么?很多学画画的朋友们都会问直接跳过素描不学素描行不行,小编非常的肯定告诉你不行,素描是所以绘画类的基础,台阶是一层一层筑起的,目前的现实是未来理想的基础...

设绘嗨
29分钟前
1
0
Caused by: java.lang.ClassCastException: scala.collection.mutable.WrappedArray

code val linkPairSum = F.udf( (list:List[Map[Long,Int]]) => { var map = Map[Long,Int]() for(m <- list){ if(m != null){ ......

张欢19933
29分钟前
1
0
git常见问题

一、clone代码 clone 1.登录账号密码不对 fatal: Authentication failed for 2.权限不足 Permission denied (publickey) 或者emote: User permission denied fatal: unable to access u......

hexiaoming123
39分钟前
1
0
Mybatis操作mysql 8的Json字段类型

Json字段是从mysql 5.7起加进来的全新的字段类型,现在我们看看在什么情况下使用该字段类型,以及用mybatis如何操作该字段类型 一般来说,在不知道字段的具体数量的时候,使用该字段是非常合...

算法之名
47分钟前
38
0
Windows7至Windows10的升级建议

目前,诸多企业或已开始在进行Windows7至Windows10的升级,或正在规划Windows7升级至Windows10。 主要原因有两个: Windows7的生命周期即将结束,这意味着再也无法获取Windows7的安全更新,以...

嘉为科技
50分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部