文档章节

分布式定时任务框架---Uncode Schedule

晨猫
 晨猫
发布于 2018/11/02 13:33
字数 1672
阅读 135
收藏 4

分布式定时任务框架---Uncode Schedule

96 rabbitGYK 关注

2016.11.27 20:36* 字数 1446 阅读 7141评论 5喜欢 36赞赏 1

博客原文

作为一个支付公司的项目组,经常会有很多对账功能(签约对账、支付订单对账、记账对账),这些都是以定时任务的形式实现,组内经常需要维护一些定时任务,在使用过程中主要关注定时任务的稳定性、健壮性和可控性,分布式定时任务+任务监控基本满足使用需求。

定时任务的现状

就定时任务来说,首先是操作系统层面一直支持的功能,所以我们的各种对定时任务的实现手段才能得以发挥。由于操作系统和编程语言种类繁多,本文中将重点从linux操作系统、java语言以及java生态中开源框架来介绍定时任务。

1. linux系统级的定时任务执行器:crontab
这是一个系统级的定时器,具有灵活简单的特性,同时也是缺乏管理功能和分布式支持。一般的使用方法是,使用shell脚本调用业务实现jar包。

2. java语言中的定时器:java.util.Timer
这是一个java语言内置的定时器,这是所有基于java语言的开源框架实现的基础。其中,典型的任务调度方法:

public void schedule(TimerTask task, long delay);
public void schedule(TimerTask task, Date time);
public void schedule(TimerTask task, long delay, long period);
public void schedule(TimerTask task, Date firstTime, long period);
public void scheduleAtFixedRate(TimerTask task, long delay, long period);
public void scheduleAtFixedRate(TimerTask task, Date firstTime, long period);

3. java定时任务开源框架(常用)
3.1. Quartz(java定时任务的标准)
3.2. spring task
在spring中实现定时任务有两种方式,一是spring对quartz进行了封装,二是独立实现了定时任务的调度器称为spring task。其中spring task相对较为简单,cron表达式不支持L W;而quartz不但完整支持cron表达式,而且具有很多高级特性,如JDBCJobStore(作业仓库)、集群模式。

4. 分布式定时任务开源框架
4.1. Elastic-Job(当当网)
4.2. light-task-scheduler
4.3. clover
4.4. TBSchedule(阿里)
4.5. niubi-job
4.6. Uncode-Schedule
基于java的分布式定时任务的开源框架还是很多的,这里没有一一列举,有些框架设计的非常完善复杂,可根据具体使用场景选择适当的框架,当某些功能不符合你的预期的时候,可以去修改一下源代码实现自己想要的功能,这是开源框架的好处。

根据我们所有定时任务的特点和实际运行需求,我选择了Uncode-Schedule框架,这个框架相对简单、灵活,并且修改源代码以满足特定需求相对容易。

分布式定时任务面临的问题

对于分布式应用来说,一致性始终是首要问题,另外就是对任务和执行任务的机器的管理问题。

1. 一致性问题
1.1. 一个任务不能同时在多台机器上执行
1.2. 当某一台执行任务的机器宕机时,该机器上的任务自动重新分配至其他机器
1.3. 任务的均衡分配
1.4. 心跳检测

2. 任务的管理和监控
2.1. 任务的动态添加和删除
2.2. 控制执行任务的机器
2.3. 随时手动执行任务

Uncode-Schedule开源框架分析

Uncode-Schedule是一个实现分布式定时任务的开源框架,java语言实现,本章将从上面的几个问题入手分析该框架的实现机制。

1. 功能概述
Uncode-Schedule是基于zookeeper的分布式任务调度组件,非常小巧,使用简单,开发时只需要引入jar包,不需要单独部署服务端。而且定时任务的实现方式和原始的spring/quartz task保持一致,所以普通的定时任务改造成分布式很方便。

1.1. 它能够确保所有任务在集群中不重复,不遗漏的执行。
1.2. 单节点故障时,任务能够自动转移到其他节点继续执行。
1.3. 支持动态添加和删除任务。
1.4. 支持添加机器ip黑名单。
1.5. 支持手动执行任务。

2. 注意事项
在使用Uncode-Schedule框架开发定时任务时,需要注意几个问题:
2.1. 开发的定时任务在业务要保证幂等性。主要是为了解决单点故障时,任务转移重复执行带来的问题。
2.2. 任务节点启动时必须保证zookeeper可用。
2.3. 任务节点运行期zookeeper集群不可用时任务节点保持可用前状态运行,当zookeeper集群恢复后,任务正常运行。
2.4. 手动执行任务时,需要选择在哪台机器执行。

3. 模块架构
3.1. Uncode-Schedule分布式定时任务的设计结构如下图:

Uncode-Schedule架构图


zookeeper集群负责存储定时任务和机器的数据,起到存储数据和保持一致性的关键作用。在所有的执行任务的节点中有一个leader,它会负责任务的分配。任务的管理和监控平台可单独部署。

 

3.2. 每一个任务节点的内部结构如下图:

worker node结构图


执行任务的节点上支持的任务类型包括spring的封装的quartz任务和spring task;另外该框架还自定义了一种任务Uncode Task,实际上是一种由zookeeper存储调度信息的任务,最终还是由spring的调度器ThreadPoolTaskScheduler控制的,不过这种任务是可动态添加和删除的。

 

3. 使用方法
Uncode-Schedule框架的使用方法是很简单的,而且我也没有对原作者的使用方法做修改,所以具体使用方法可参考github上的README文档

我根据对框架的功能完善,自己设计了一个任务的管理和监控平台。主要在其中添加了手动执行的功能,其他的监控功能会进一步完善。

4. 源码分析
见下一篇文章


转载自:
http://rabbitgyk.com/2018/01/27/uncode-schedule-framework/
https://www.jianshu.com/p/780235132d81

本文转载自:http://rabbitgyk.com/2018/01/27/uncode-schedule-framework/

晨猫
粉丝 41
博文 444
码字总数 137257
作品 0
杭州
后端工程师
私信 提问
Uncode-Schedule 0.3.0 发布,分布式任务调度组件

Uncode-Schedule 是基于 zookeeper+quartz/spring task 的分布式任务调度组件,非常小巧,无需任何修改就可以使quartz/spring task具备分布式特性,确保所有任务在集群中不重复,不遗漏的执行...

冶卫军
2015/07/15
1K
10
Uncode-Schedule 1.0.0 发布,分布式任务调度组件

Uncode-Schedule分布式任务调度组件,非常小巧,无需任何修改就可以使quartz/spring task具备分布式特性,确保所有任务在集群中不重复,不遗漏的执行。 Uncode-Schedule 1.0.0 发布,本次版本...

冶卫军
2017/03/18
2.7K
2
Uncode-Schedule 0.6.0 发布,分布式任务调度组件

Uncode-Schedule 是基于 zookeeper+quartz/spring task 的分布式任务调度组件,非常小巧,无需任何修改就可以使quartz/spring task具备分布式特性,确保所有任务在集群中不重复,不遗漏的执行...

冶卫军
2016/05/12
2K
2
Uncode-Schedule 0.4.0 发布,分布式任务调度组件

Uncode-Schedule 是基于 zookeeper+quartz/spring task 的分布式任务调度组件,非常小巧,无需任何修改就可以使quartz/spring task具备分布式特性,确保所有任务在集群中不重复,不遗漏的执行...

冶卫军
2015/09/17
1K
10
Uncode-Schedule 0.2.0 发布,分布式任务调度组件

Uncode-Schedule 是基于 zookeeper+quartz/spring task 的分布式任务调度组件,非常小巧,无需任何修改就可以使quartz/spring task具备分布式特性,确保所有任务在集群中不重复,不遗漏的执行...

冶卫军
2015/06/02
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

Replugin借助“UI进程”来快速释放Dex

public static boolean preload(PluginInfo pi) { if (pi == null) { return false; } // 借助“UI进程”来快速释放Dex(见PluginFastInstallProviderProxy的说明) return PluginFastInsta......

Gemini-Lin
今天
4
0
Hibernate 5 的模块/包(modules/artifacts)

Hibernate 的功能被拆分成一系列的模块/包(modules/artifacts),其目的是为了对依赖进行独立(模块化)。 模块名称 说明 hibernate-core 这个是 Hibernate 的主要(main (core))模块。定义...

honeymoose
今天
4
0
CSS--属性

一、溢出 当内容多,元素区域小的时候,就会产生溢出效果,默认是纵向溢出 横向溢出:在内容和容器之间再套一层容器,并且内部容器要比外部容器宽 属性:overflow/overflow-x/overflow-y 取值...

wytao1995
今天
4
0
精华帖

第一章 jQuery简介 jQuery是一个JavaScript库 jQuery具备简洁的语法和跨平台的兼容性 简化了JavaScript的操作。 在页面中引入jQuery jQuery是一个JavaScript脚本库,不需要特别的安装,只需要...

流川偑
今天
7
0
语音对话英语翻译在线翻译成中文哪个方法好用

想要进行将中文翻译成英文,或者将英文翻译成中文的操作,其实有一个非常简单的工具就能够帮助完成将语音进行翻译转换的软件。 在应用市场或者百度手机助手等各大应用渠道里面就能够找到一款...

401恶户
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部