文档章节

为什么做作业批量调度的很多人都使用TASKCTL

 老衲大海
发布于 2017/09/05 10:32
字数 480
阅读 11
收藏 0
点赞 0
评论 0

(1) 和其他类似作业调度工具相比,TASKCTL相对简洁,能兼容和适应各种作业类型的调度。

(2) 作业的设计本身源于业务系统,多数人只是想找一个能把自己的或者别人写的作业统一调度串联起来就行,而有些调度工具体系做到比较复杂,无论是调度软件本身的安装、维护、使用、操作难度都比较大,而TASKCTL比较专注于作业调度的设计,并为了辅助作业调度的设计,开发了简洁但又强大而灵活的IDE,该IDE比传统的页面配置和Excel工具配置强大了好几倍,以底层作业调度为核心,做好作业调度、作业监控,没有做的过分臃肿和庞大,这符合大多数作业调度使用人员的初衷。

(3) 和自定义作业调度比,TASKCTL专注于作业的批量调度,实现了与业务的分离和解耦,不像自定义作业与业务本身的耦合度那么高,有利于作业的整体监控和管理。

(4) 其他作业调度工具在作业的日志检索和定位上,往往需要非常大的延迟和复杂的操作才能定位错误,TASKCTL确需要1-2秒的时间就能快速全局定位所有错误和信息,这为运维人员带来了极大的便利。

(5) 其他作业调度工具的建设由于自身软件体系比较庞大和复杂,往往在硬件资源成本建设上需要高昂的服务器硬件支撑,但TASKCTL确对硬件资源的依赖程度非常低,一般PC环境或虚拟机部署即可满足使用需求。

本文转载自:

共有 人打赏支持
粉丝 2
博文 20
码字总数 13635
作品 0
石家庄
ETL调度技术平台--TASKCTL

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要...

施鹏飞
2013/01/26
18.3K
14
TASKCTL中不使用代理,通过ssh免密连接执行远程脚本配置(SSH插件扩展)

使用TASKCTL调度服务时,如果需要跨用户或者跨服务器调度可以通过安装taskctl的代理来实现,但有时需要执行作业的服务器上仅仅只有几个脚本,此时再部署代理,就显得有点得不偿失了。我们知道...

假赛先生
2017/10/26
0
0
说说ETL调度工具TASKCTL的五宗最

这段时间,我一边研究网上公开的调度工具TASKCTL,一边看大鹏嘚吧嘚,一边是惊喜,一边是欢乐。大鹏嘚吧嘚有五宗最,很八卦,让我也给TASKCTL凑五宗罪,这绝对值得我们ETL技术人员学习与思索...

捷宝大大
2013/04/05
0
2
解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简...

波波夫空袭
2017/10/31
0
1
腾讯云批量计算:用搭积木的方式构建高性能计算系统

欢迎大家前往腾讯云社区 ,获取更多腾讯海量技术实践干货哦~ 高性能计算(High Performance Computing)简称 HPC,在气象预测、地震预警、生命科学、军事、航天等高科技领域有着广泛的应用,...

2017/12/18
0
0
Kettle 的 Web 端管理工具--Kettle-Manager

平台简介 出发点 专门为kettle这款优秀的ETL工具开发的web端管理工具。 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境...

马进举
2016/11/23
7.5K
5
简单了解阿里云批量计算(上篇)

什么是批量计算: 批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使...

mcy0425
05/16
0
0
详解当当网的分布式作业框架elastic-job

作业的必要性以及存在的问题 1. 为什么需要作业? 作业即定时任务。一般来说,系统可使用消息传递代替部分使用作业的场景。两者确有相似之处。可互相替换的场景,如队列表。将待处理的数据放...

HenrySun
2016/04/19
652
0
Unity2018新功能抢鲜 | C# Job System Ⅱ

本文首发于“洪流学堂”微信公众号。 洪流学堂,让你学Unity快人几步 上一篇文章我们讲了job system,这篇文章来看看如何使用job system以及常见的问题。 Scheduling jobs工作调度 如前一节所...

zhenghongzhi6
04/18
0
0
集群管理器和调度器--Nomad

Nomad 是一个集群管理器和调度器,专为微服务和批量处理工作流设计。Nomad 是分布式,高可用,可扩展到跨数据中心和区域的数千个节点。 Nomad提供一个常规工作流跨基础设施部署应用。开发者使...

叶秀兰
2015/09/29
4.6K
4

没有更多内容

加载失败,请刷新页面

加载更多

下一页

jquery刷新页面(局部及全页面刷新)

window.location.reload()刷新当前页面. parent.location.reload()刷新父亲对象(用于框架) opener.location.reload()刷新父窗口对象(用于单开窗口) top.location.reload()刷新最顶端对象...

uug
2分钟前
0
0
CoreText进阶(五)- 文字排版样式和效果

CoreText进阶(五)- 文字排版样式和效果 效果 以下是三个设置了不同属性的效果图 第一个设置了文字颜色为红色,字体为16号 第二个设置了文字颜色为灰色,字体为16号,对其为居中 第三个设置...

aron1992
28分钟前
1
0
10.23 linux任务计划cron~10.27 target介绍

crontab命令被用来提交和管理用户的需要周期性执行的任务,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是...

洗香香
39分钟前
0
0
告警系统主脚本、告警系统配置文件、告警系统监控项目

20.20 告警系统主脚本 告警系统主脚本 main.sh内容 #!/bin/bash#Written by aming.# 是否发送邮件的开关export send=1# 过滤ip地址export addr=`/sbin/ifconfig |grep -A1 "en...

lyy549745
42分钟前
0
0
Don’t Repeat Yourself

在软件工程中,Don’t Repeat Yourself(DRY)是软件开发的原则,旨在减少重复,用抽象代替它,使用数据规范化来避免冗余。 这个原则在维基百科上是说是由Andy Hunt和Dave Thomas《The Pragmat...

woshixin
44分钟前
0
0
搭建webpack项目框架

作者:汪娇娇 时间:2018年6月4日 一、说明 随着业务发展和前端人员的增加,搭建一个通用框架以及制定统一规范就成了必然。对于选型这方面,一开始好像就没考虑其他框架,直接选了webpack。w...

娇娇jojojo
51分钟前
0
0
Java基础——面向对象(内部类)

声明:本栏目所使用的素材都是凯哥学堂VIP学员所写,学员有权匿名,对文章有最终解释权;凯哥学堂旨在促进VIP学员互相学习的基础上公开笔记。 内部类: 1.有名内部类 2.无名内部类 内部类申请...

凯哥学堂
59分钟前
0
0
HttpClient内部三个超时时间的区别

RequestConfig requestConfig = RequestConfig.custom() .setConnectionRequestTimeout(config.connReqTimeout) //从连接池中获取连接的超时时间 ......

1713716445
今天
0
0
每天一个命令SCP

每天一个命令:SCP scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速...

河图再现
今天
0
0
cron/chkconfig/systemd/unit/target

linux任务计划 : cron工具 任务计划在运维工作中用到的比较多,大部分系统管理工作都是通过定期自动执行某个脚本来完成。 查看linux中任务计划的配置文件: /etc/crontab [root@yolks-001 ~]...

Hi_Yolks
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部