文档章节

手动运行脚本执行正常而放入crontab调用hadoop命令没有执行成功

aibati2008
 aibati2008
发布于 2016/03/11 10:24
字数 155
阅读 129
收藏 0

      需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。

     后来终于找到原因,貌似是hadoop home的环境变量没有生效,于是在脚本里加入export hadoop的环境变量,问题解决。



   一个更简单的方法是直接加入source /etc/profile在脚本的最前面.

© 著作权归作者所有

aibati2008
粉丝 14
博文 87
码字总数 61726
作品 0
成都
技术主管
私信 提问
【求助】通过crontab执行python脚本,脚本内执行linux shell命令,无效

场景: 1.用Git@OSC的git hook来通知服务器有新的commit,并将此次提交信息存放到数据库里。 2.使用python-crontab创建了一个每分钟执行1次的crontab,查询是否有新commit,有的话运行shell...

petanne
2015/08/04
1K
0
linux-crontab之环境变量的问题

  前言      在linux服务器上,计划任务基本都是crontab进行管理的。但是有些脚本手动运行都很正常,一放到crontab里面就不执行了。这一般都是环境变量的问题引起的。      环境变...

linux运维菜
2018/06/02
0
0
crontab系统使用雷区(为什么cron任务没运行)

写好的程序,手动执行没问题,上crontab就报错 Crontab任务的执行环境与手动执行时的执行环境不同。 手动执行时,任务的执行环境为当前用户或指定用户的执行环境,典型的执行环境是环境变量,...

panzhc
2014/01/08
177
0
记录一个crontab的中使用python脚本的坑

问题表现: 每次手动执行这个python脚本运行,程序工作的很好,但是如果是通过crontab的方式来运行,就会有各种问题! 处理: /15 * sh /root/app/crypt/start.sh >> /root/app/crypt/res.l...

bz_z
01/10
54
0
日志切割操作梳理(Logrotate/python/shell脚本实现)

本文转自:运维中的日志切割操作梳理(Logrotate/python/shell脚本实现) 对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天...

blackfoxya
2018/06/28
378
1

没有更多内容

加载失败,请刷新页面

加载更多

PCB设计-Allegro软件入门系列-铺铜操作(下)

铺铜是PCB很常见的操作,PCB的敷铜一般都是覆地铜,增大地线面积,有利于地线阻抗降低,使电源和信号传输稳定,在高频的信号线附近敷铜,可大大减少电磁辐射干扰,起屏蔽作用。 本讲讲解啊一...

demyar
14分钟前
1
0
如何通过WASI SDK 在Linux上编译ZXing C++

Mozilla在今年三月份的时候公布了WASI。WASI的目标就是让WebAssembly在任何地方都可以运行,而不仅仅像现在这样只能运行在Node.js和Web浏览器中。WASI目前依然处于初级阶段,这篇文章分享下如...

yushulx
15分钟前
2
0
.Net界面开发神器—DevExpress官方汉化包免费下载!还在等什么?

点击获取DevExpress v19.1.7新版试用下载 DevExpress Localization Service允许您创建一组自定义的附属程序集,要将语言包添加到程序集中,请查看本文中为大家列出的对应版本的汉化包,下载并...

FILA6666
16分钟前
2
0
php生成二维码

        header('Content-Type: image/png');        //清除缓冲区,防止之前面不知道的情况下被加头部信息导致不显示图片内容        ob_clean();        $...

横着走的螃蟹
21分钟前
2
0
伪类和伪元素

伪类和伪元素 伪类和伪元素,对于绝大多数同学来说,都是耳熟能详的名字,但确实又有很多人搞不清楚它们之间的区别,以致于混淆概念。而当概念都混淆的时候,也往往意味着你不会经常使用它,...

不负好时光
23分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部