文档章节

为什么做作业批量调度的很多人都使用TASKCTL

 老衲大海
发布于 2017/09/05 10:32
字数 480
阅读 16
收藏 0

(1) 和其他类似作业调度工具相比,TASKCTL相对简洁,能兼容和适应各种作业类型的调度。

(2) 作业的设计本身源于业务系统,多数人只是想找一个能把自己的或者别人写的作业统一调度串联起来就行,而有些调度工具体系做到比较复杂,无论是调度软件本身的安装、维护、使用、操作难度都比较大,而TASKCTL比较专注于作业调度的设计,并为了辅助作业调度的设计,开发了简洁但又强大而灵活的IDE,该IDE比传统的页面配置和Excel工具配置强大了好几倍,以底层作业调度为核心,做好作业调度、作业监控,没有做的过分臃肿和庞大,这符合大多数作业调度使用人员的初衷。

(3) 和自定义作业调度比,TASKCTL专注于作业的批量调度,实现了与业务的分离和解耦,不像自定义作业与业务本身的耦合度那么高,有利于作业的整体监控和管理。

(4) 其他作业调度工具在作业的日志检索和定位上,往往需要非常大的延迟和复杂的操作才能定位错误,TASKCTL确需要1-2秒的时间就能快速全局定位所有错误和信息,这为运维人员带来了极大的便利。

(5) 其他作业调度工具的建设由于自身软件体系比较庞大和复杂,往往在硬件资源成本建设上需要高昂的服务器硬件支撑,但TASKCTL确对硬件资源的依赖程度非常低,一般PC环境或虚拟机部署即可满足使用需求。

本文转载自:

共有 人打赏支持
粉丝 2
博文 20
码字总数 13635
作品 0
石家庄
私信 提问
ETL调度技术平台--TASKCTL

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要...

施鹏飞
2013/01/26
18.3K
14
TASKCTL中不使用代理,通过ssh免密连接执行远程脚本配置(SSH插件扩展)

使用TASKCTL调度服务时,如果需要跨用户或者跨服务器调度可以通过安装taskctl的代理来实现,但有时需要执行作业的服务器上仅仅只有几个脚本,此时再部署代理,就显得有点得不偿失了。我们知道...

假赛先生
2017/10/26
0
0
说说ETL调度工具TASKCTL的五宗最

这段时间,我一边研究网上公开的调度工具TASKCTL,一边看大鹏嘚吧嘚,一边是惊喜,一边是欢乐。大鹏嘚吧嘚有五宗最,很八卦,让我也给TASKCTL凑五宗罪,这绝对值得我们ETL技术人员学习与思索...

捷宝大大
2013/04/05
0
2
解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简...

波波夫空袭
2017/10/31
0
1
一个国产的基于事件的流程编排和调度引擎

GtiHub地址:https://github.com/xuda783380930/job-dispatcher.git GitEE地址:https://gitee.com/dayedaye/job-dispatcher 基本模型: 基于事件或者定时生成一个job,每个job由若干个task组成,......

xuda7342399
01/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

TiDB 3.0 Beta Release Notes

2019 年 1 月 19 日,TiDB 发布 3.0 Beta 版,对应 master branch 的 TiDB-Ansible。相比 2.1 版本,该版本对系统稳定性、优化器、统计信息以及执行引擎做了很多改进。 TiDB 新特性 支持 Vi...

TiDB
5分钟前
0
0
从拼多多优惠券事件看到的一些反思

本文由云+社区发表 作者:颜国平 摘要:最近几年,电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家通过各种活动形式的补贴来获取用户、培养用户的消费习惯,即将到来的“ 购物狂欢...

腾讯云加社区
5分钟前
0
0
记录一次BUG

1: 请求注册页面时生成一个UUID, 并且将UUID隐藏在页面中并且添加到session中去。 2: 发送短信时获取手机号和UUID,将两者发送至服务器 3: 先判断UUID和session中UUID是否一致。 不一致就...

专业写BUG的程序员
10分钟前
0
0
阿里云漏洞提示:phpMyAdmin <=4.8.1 checkPageValidity函数缺陷可导致GETSHELL

如题: phpMyAdmin <=4.8.1 后台checkPageValidity函数缺陷可导致GETSHELL 即:checkPageValidity函数对外部输入过滤不严,可导致本地包含任意文件。进一步地攻击者可通过注入代码到特定文件...

408582708
11分钟前
0
0
PyTorch可视化理解卷积神经网络

摘要: 神经网络工具像一个黑匣子,无法知道它的中间是如何处理的。本文使用图片加代码的形式讲解CNN网络,并对每层的输出进行可视化,便于初学者理解,可以动手实践下哦! 如今,机器已经能...

阿里云官方博客
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部