文档章节

ETL作业调度软件TASKCTL4.5软件分布式集群架构安装部署详解-笔记分享

 老衲大海
发布于 2017/08/07 11:43
字数 1104
阅读 10
收藏 0
点赞 0
评论 0

在这里我们说一下TASKCTL的部署过程,TASKCTL部署可以分为单机部署和联机部署(集群部署)。先说一下我们需要准备的东西,首先我们需要到官方网站去下载服务端与客户端的安装包,然后准备一个Windows端的FTP工具和解压缩工具。我们这里用VMWare Player虚拟机安装一个Linux系统来当做我们的服务器,在这个系统中创建4个账户(taskctl,magent,sagent1,sagent2),用来模拟TASKCTL的集群部署,虽然各节点都是安装到同一台服务器的,但是无论安装方式还是软件的执行方式,都与正式环境是一样的,也能从侧面说明TASKCTL所占用的服务器资源很少。

       因为虚拟机使用的是Red Hat Enterprise Linux 5这个发行版,所以在下载服务端的时候,我们选择For Linux 4.5这个版本。桌面客户端的话,如果在Windows系统中安装有.net framework4.5的话,就直接选择TASKCTL4.5,如果没有,则先安装.net framework4.5。下载以后,服务端解压缩,然后上传至taskctl账户,下面就进入正式的安装过程。

·         单机部署

TASKCTL单机部署

·         安装Windows客户端

Windows客户端安装十分简单,首先把下载好的客户端压缩包解压出来,然后双击Taskctl 4.5.1 Setup.exe程序进入安装,如果不需要更换目录,就可以一路的下一步直到完成安装。解释一下TASKCTL的Windows客户端的构成,客户端分为3个软件:Admin、Designer、Monitor。

Admin主要用于管理TASKCTL平台,比如:各节点的启停,全局变量管理,工程导入导出,工程管理等等平台级维护操作。

Designer主要用于各种流程和定时器的设计。

Monitor是TASKCTL平台的监控运维软件,主要用于监控运维流程和定时器的运行情况。

为了验证我们的服务端是否安装成功,我们需要打开的Admin客户端来验证一下。

选择服务器登录,然后输入服务节点的IP地址和端口号,用户名与密码都是默认的admin,然后点击登录,进入主界面

我们就能看到已经部署好的节点了,之所以能看到这么多节点,是因为在安装的时候内置了一些节点配置的范例,真正部署到位的只有Server节点。下面,我们选中Server节点,然后点击右下角的停止按钮,如果提示说“停止成功”,则说明我们的部署成功。

·         集群部署

TASKCTL集群部署

·         负载均衡

在上面的集群部署的基础上,才能够实现TASKCTL的负载均衡,要求最少拥有一个主代理节点(MAgent)和一个从代理节点(SAgent),实现起来非常的简单,只需要在Designer中设计的时候,将任务的agentid属性设置为主代理节点(MAgent)的名字加上一对中括号“[magent]”,然后,将需要做负载均衡处理的所有任务,分别放在主代理和从代理上面,任务的环境必须一致,比如说:在主代理服务器上我们放了一个叫做test.sh的shell脚本在$HOME目录下面,那么,从代理服务器的test.sh脚本也要放在$HOME目录下。在这样的前提之下,TASKCTL的调度核心会判断用哪一台代理服务器处理任务。例如:

<serial>
  <name>MainModul_rootnode</name>
  <begin>
    <name>MainModul_beginjob</name>
  </begin>
  <parallel>
    <name>test</name>
    <!-- 在组节点下设置的一些属性,组节点内的任务在没有自己的私有属性的情况下,会默认的继承,这里就会继承agentid属性 -->
    <agentid>[magent]</agentid>
    <sh>
      <name>MainModul_JobNode0</name>
      <progname>$HOME/test.sh</progname>
    </sh>
    <sh>
      <name>MainModul_JobNode1</name>
      <progname>$HOME/test.sh</progname>
    </sh>
    <sh>
      <name>MainModul_JobNode2</name>
      <progname>$HOME/test.sh</progname>
    </sh>
    <sh>
      <name>MainModul_JobNode3</name>
      <progname>$HOME/test.sh</progname>
    </sh>
    <sh>
      <name>MainModul_JobNode4</name>
      <progname>$HOME/test.sh</progname>
    </sh>
    <sh>
      <name>MainModul_JobNode5</name>
      <progname>$HOME/test.sh</progname>
    </sh>
  </parallel>
  <end>
    <name>MainModul_endjob</name>
  </end>
</serial>

 

© 著作权归作者所有

共有 人打赏支持
粉丝 2
博文 20
码字总数 13635
作品 0
石家庄
ETL调度技术平台--TASKCTL

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要...

施鹏飞
2013/01/26
18.3K
14
Hadoop生态系统

首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。 Hadoop...

huojiao2006
2017/03/06
0
0
深入浅出、点金赋能!Hadoop体系大数据开发案例实战

感谢关注天善智能,走好数据之路↑↑↑ 欢迎关注天善智能,我们是专注于商业智能BI,人工智能AI,大数据分析与挖掘领域的垂直社区,学习,问答、求职一站式搞定! 课程名称:深入浅出、点金赋...

天善智能
01/03
0
0
spark架构详解

hadoop和spark Hadoop这项大数据处理技术大概已有十年历史,而且被看做是首选的大数据集合处理的解决方案。MapReduce是一路计算的优秀解决方案,不过对于需要多路计算和算法的用例来说,并非...

张欢19933
2016/02/18
711
0
《Linux云计算从入门到精通》系列实战笔记全放送

为了方便Linux云计算爱好者的学习查看,马哥Linx云计算团队特别整理了《Linux云计算从入门到精通》年度重磅大放送,囊括了整个学习过程的学习精华,内容全部由马哥Linux云计算学员撰写,欢迎...

898009427
2017/11/21
0
0
Hadoop——相关组件及其关系

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理...

追梦人wxf
2015/08/13
0
0
HADOOP生态圈知识概述

一. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、...

crazys_蘑菇
2016/07/01
0
0
HADOOP生态圈知识概述

一. hadoop 生态概况 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、...

南非蚂蚁
2016/07/01
0
0
Hadoop概括——学习笔记转

前言 第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的,起码作为一个非专业码农以及数据库管理人员,也能狗大致了解其特点 首先是概括图(以hadoop2.0为例) 一、Hadoop基础架构...

长征2号
2017/10/31
0
0
What is Apache Hadoop?

本文来自:自译+百度 Apache Hadoop 是一款可靠、可升级、分布式计算的开源软件。 Apache Hadoop 的开源软件库是专门为处理跨大数据簇而设计的处理模型族。它主要被设计用来按比例从一个到成...

卿卿的博文
2017/12/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
19分钟前
0
0
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
30分钟前
0
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
36分钟前
0
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
50分钟前
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
57分钟前
0
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
今天
0
0
开发技术瓶颈期,如何突破

前言 读书、学习的那些事情,以前我也陆续叨叨了不少,但总觉得 “学习方法” 就是一个永远在路上的话题。个人的能力、经验积累与习惯方法不尽相同,而且一篇文章甚至一本书都很难将学习方法...

_小迷糊
今天
0
0
安装tensorflow-XXX报错

报错: tensorflow-0.5.0-cp27-none-linux_x86_64.whl is not a supported wheel on this platform. 解决: wget https://bootstrap.pypa.io/get-pip.py sudo python2.7 get-pip.py sudo p......

Yao--靠自己
今天
0
0
JVM学习手册(一):JVM模型

一直从事JAVA开发,天天和JVM打交道,仔细想想对JVM还真的不是特别了解,实在是不应该.周六看了许多资料,也算有点心得,记录一下。 JVM内存模型分为5个区域:方法区,堆,虚拟机栈,本地方法栈,程序计...

勤奋的蚂蚁
今天
0
0
转行零基础该如何学Python?这些一定要明白!

转行零基础学Python编程开发难度大吗?从哪学起?近期很多小伙伴问我,如果自己转行学习Python,完全0基础能否学会呢?Python的难度到底有多大?今天,小编就来为大家详细解读一下这个问题。...

猫咪编程
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部