文档章节

细说延时任务的处理

dream_wang
 dream_wang
发布于 2017/02/16 14:17
字数 1665
阅读 30
收藏 4
点赞 0
评论 0

源起

大家可能都遇到过类似的需求:

  • 生成订单60秒后,给用户发短信
  • 下单之后15分钟,如果用户不付款就关闭订单

解决方式

是的没错,我们用一种术语来描述上面的任务,延时任务.

那么针对于类似这样的任务,一般我们都是怎么处理的呢?

对于这种延时任务,我们一般有以下的4中解决方式:

  • 利用quartz等定时任务
  • delayQueue
  • wheelTimer
  • rabbitMq的延迟队列

下面就让我们一起看一下这四种方式各自的优劣。

利用quartz等定时任务

相信目前还有很多的公司依然沿用着这种做法,那么利用quartz怎么解决这个延时任务的问题呢?

具体的方式就是这样的,比如我们有个下单15分钟后用户不付款就关闭订单的任务.我的订单是存储在mysql的一个表里,表里会有各种状态和创建时间.
利用quartz来设定一个定时任务,我们暂时设置为每5分钟扫描一次.扫描的条件为未付款并且当前时间大于创建时间超过15分钟.然后我们再去逐一的操作每一条数据.

优点: 简单易用,可以利用quartz的分布式特性轻易的进行横向扩展。

缺点: 需要扫表会增加程序负荷、任务执行不够准时。

利用jdk自带的delayQueue

上面我们已经说过了用quartz解决这个办法,现在我们这里引入了新的东东,就是jdk自带的delayQueue.

那么究竟什么是delayQueue呢?

DelayQueue是java.util.concurrent中提供的一个很有意思的类。很巧妙,非常棒!但是java doc和Java SE 5.0的source中都没有提供Sample。在ScheduledThreadPoolExecutor源码时,发现DelayQueue的妙用。可以这么说,DelayQueue是一个使用优先队列(PriorityQueue)实现的BlockingQueue,优先队列的比较基准值是时间(关于DelayQueue的源码解析可以看我之前的文章delayQueue原理理解之源码解析

怎么使用delayQueue呢?

DelayQueue主要用于放置实现了Delay接口的对象,其中的对象只能在其时刻到期时才能从队列中取走。这种队列是有序的,即队头的延迟到期时间最短。如果没有任何延迟到期,那么久不会有任何头元素,并且poll()将返回null(正因为这样,你不能将null放置到这种队列中)

也就是说我们只需要把我们需要延迟触发的任务构建完毕放到delayQueue中,然后构建一个消费者不断的去取到期的任务,进行处理就好.

优点: 效率高,任务触发时间延迟低。

缺点: 复杂度比quartz要高,自己要处理分布式横向扩展的问题,因为数据是放在内存里,需要自己写持久化的备案以达到高可用。

利用wheelTimer

netty中的Timer管理,使用了的Hashed time Wheel的模式,Time Wheel翻译为时间轮,是用于实现定时器timer的经典算法。

HashWheelTimer的原理

时间轮算法的原理如图所示:

时间轮算法的原理

可以将 HashedWheelTimer 理解为一个 Set<Task>[] 数组, 图中每个槽位(slot)表示一个 Set<Task>

HashedWheelTimer 有两个重要参数

tickDuration: 每 tick 一次的时间间隔, 每 tick 一次就会到达下一个槽位

ticksPerWheel: 轮中的 slot 数

上图就是一个 ticksPerWheel = 8 的时间轮, 假如说 tickDuration = 100 ms, 则 800ms 可以走完一圈

在 timer.start() 以后, 便开始 tick, 每 tick 一次, timer 会将记录总的 tick 次数 ticks

我们加入一个新的超时任务时, 会根据超时的任务的超时时间与时间轮开始时间算出来它应该在的槽位.

怎么使用WheelTimer呢?

在netty中已经有了时间轮算法的实现HashWheelTimer,HashWheelTimer的使用非常的简单:先new一个HashedWheelTimer,然后调用它的newTimeout方法传递相应的延时任务就ok了。

下面是newTimeout的声明:


    /**
     * Schedules the specified {@link TimerTask} for one-time execution after
     * the specified delay.
     *
     * @return a handle which is associated with the specified task
     *
     * @throws IllegalStateException if this timer has been
     *                               {@linkplain #stop() stopped} already
     */
    Timeout newTimeout(TimerTask task, long delay, TimeUnit unit);

这个方法需要一个TimerTask对象以知道当时间到时要执行什么逻辑,然后需要delay时间数值和TimeUnit时间的单位,像下面的例子中,我们在timer到期后会打印字符串,第一个任务是5秒后开始执行,第二个10秒后开始执行。

public class HashWheelTimerTest {
    public static void main(String[] argv) {
        final Timer timer = new HashedWheelTimer();
        timer.newTimeout(new TimerTask() {
            public void run(Timeout timeout) throws Exception {
                System.out.println("timeout 5");
            }
        }, 5, TimeUnit.SECONDS);
        timer.newTimeout(new TimerTask() {
            public void run(Timeout timeout) throws Exception {
                System.out.println("timeout 10");
            }
        }, 10, TimeUnit.SECONDS);
    }
}

优点: 效率高,根据楼主自己写的测试,在大量高负荷的任务堆积的情况下,HashWheelTimer基本要比delayQueue低上一倍的延迟率.netty中也有了时间轮算法的实现,实现难度低

缺点: 内存占用相对较高,对时间精度要求相对不高.和delayQueue有着相同的问题,自己要处理分布式横向扩展的问题,因为数据是放在内存里,需要自己写持久化的备案以达到高可用。

rabbitMq的延迟队列

大家都知道rabbitmq是一个消息队列,同时因为其天然的分布式特性的支持已经极高的消息处理效率深受大家的喜爱.那么大家应该不知道他也是可以用来处理我们的延时任务的.

如何使用rabbitMq的延迟队列

  • AMQP和RabbitMQ本身没有直接支持延迟队列功能,但是可以通过以下特性模拟出延迟队列的功能。
  • RabbitMQ可以针对Queue和Message设置 x-message-tt,来控制消息的生存时间,如果超时,则消息变为dead letter
  • lRabbitMQ的Queue可以配置x-dead-letter-exchange 和x-dead-letter-routing-key(可选)两个参数,用来控制队列内出现了deadletter,则按照这两个参数重新路由。
  • 结合以上两个特性,就可以模拟出延迟消息的功能

具体实现可参照官方文档:
http://www.rabbitmq.com/ttl.html
http://www.rabbitmq.com/dlx.html

优点: 高效,可以利用rabbitmq的分布式特性轻易的进行横向扩展,消息支持持久化增加了可靠性。

缺点: 本身的易用度要依赖于rabbitMq的运维.因为要引用rabbitMq,所以复杂度和成本变高

© 著作权归作者所有

共有 人打赏支持
dream_wang
粉丝 0
博文 2
码字总数 3897
作品 0
朝阳
高级程序员
iOS多线程开发之深入GCD

iOS多线程开发之深入GCD 一、前言 在以前的一些系列博客中,对iOS中线程的管理做了总结,其中涵盖了GCD的相关基础知识:http://my.oschina.net/u/2340880/blog/417746。那里面将GCD的线程管理...

珲少 ⋅ 2015/08/11 ⋅ 0

linux怎么实现异步延时?

场景是这样的: 有很多个任务要处理(调用同一个函数),每一个任务会延时一段时间,我想让代码针对每个任务分别延时,不至于影响到其他任务, 当然通过多线程也可以做,但是线程开多了也很占...

最帅程序猿 ⋅ 2013/05/15 ⋅ 3

Spring Quartz定时任务不准时执行

前言 也是前段时间工作上遇到过这样的问题:quartz定时任务没有在预期的时间执行。后来研究了下quartz的机制,查明了原因,这里做个记录和分享。 2. 原因解释 先看一下spring quartz的大致机...

东临 ⋅ 2014/07/05 ⋅ 3

setTimeout延时0毫秒的作用

wizardpisces经验: 这几天做web动画,用到css3的animation,为了对一个存在的元素触发动画,可以通过添加className,可是只能触发一次,为了触发多次我尝试了先删除className后直接添加的方...

吟啸_徐行 ⋅ 2014/07/08 ⋅ 0

handler.postDelayed函数延时执行计时是否准确

滴滴面试的时候问到了这个问题,在巴掌神的demo帮助下,估计想考的就是这个吧,ps面试官不说答案逼都让他装了0.-,建议当面试官的朋友们最好准备一下答案比较好,在面试的时候给予被面试者帮...

霁雪清虹 ⋅ 2017/11/11 ⋅ 0

让android支持RTSP及live555分析

#DATE 2012/05/09 #2012/08/27由cnblogs迁入 如何让Android支持C++异常机制 Android不支持C++异常机制,如果需要用到的话,则需要在编译的时候加入比较完整的C++库. Android支持的C++库可以在A...

Wii-D ⋅ 2012/08/27 ⋅ 6

Java多线程 - 线程池

这篇文章大部分都是直接摘抄自《实战Java高并发程序设计》,基本上就是一篇笔记,用于以后忘了的时候可以回顾。 框架提供的ExecutorService Executors框架提供了各种类型的线程池,主要有以下工...

嘉伟咯 ⋅ 2017/09/05 ⋅ 0

13 个 GCD 应用场景

本文不涉及 GCD 的概念和理论,仅记录了 GCD 在一些开发场景下的应用。 嗯,欢迎大家积极留言补充。 耗时操作 这是应用最广泛的场景,为了避免阻塞主线程,将耗时操作放在子线程处理,然后在...

⋅ 2017/12/19 ⋅ 0

CPU和GPU的设计区别

1.2CPU和GPU的设计区别 CPU和GPU之所以大不相同,是由于其设计目标的不同,它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型,同时又要逻辑判断又会引入大量...

JlongTian ⋅ 02/27 ⋅ 0

系统延时与定时任务

一、延时任务 在Linux中延时任务是临时的,可以指定某一个任务在将来的特定时间运行 1、at命令 基本操作格式: 延时命令at + 时间 或者now+xmin表示从现在开始过多长时间后 回车 输入动作 再...

wx59e701214b276 ⋅ 2017/11/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

聊聊spring cloud的RequestRateLimiterGatewayFilter

序 本文主要研究一下spring cloud的RequestRateLimiterGatewayFilter GatewayAutoConfiguration @Configuration@ConditionalOnProperty(name = "spring.cloud.gateway.enabled", matchIfMi......

go4it ⋅ 44分钟前 ⋅ 0

Spring JavaConfig 注解

JavaConfig注解允许开发者将Bean的定义和配置放在Java类中。它是除使用XML文件定义和配置Bean外的另一种方案。 配置: 如一个Bean如果在XML文件可以这样配置: <bean id="helloBean" class="...

霍淇滨 ⋅ 51分钟前 ⋅ 0

Spring clound 组件

Spring Cloud技术应用从场景上可以分为两大类:润物无声类和独挑大梁类。 润物无声,融合在每个微服务中、依赖其它组件并为其提供服务。 Ribbon,客户端负载均衡,特性有区域亲和、重试机制。...

英雄有梦没死就别停 ⋅ 53分钟前 ⋅ 0

Confluence 6 重新获得站点备份文件

Confluence 将会创建备份,同时压缩 XML 文件后存储熬你的 <home-directory>/backups> 目录中。你需要自己访问你安装的 Confluence 服务器,并且从服务器上获得这个文件。 运行从 Confluence...

honeymose ⋅ 57分钟前 ⋅ 0

informix的常用SQL语句

1、创建数据库 eg1. 创建不记录日志的库testdb,参考语句如下: CREATE DATABASE testdb; eg2. 创建带缓冲式的记录日志的数据库testdb(SQL语句不一定在事务之中,拥有者名字不被用于对象的解...

wangxuwei ⋅ 今天 ⋅ 0

matplotlib画图

最简单的入门是从类 MATLAB API 开始,它被设计成兼容 MATLAB 绘图函数。 from pylab import *from numpy import *x = linspace(0, 5, 10)y = x ** 2figure()plot(x, y, 'r')...

Dr_hu ⋅ 今天 ⋅ 0

RabbitMQ学习以及与Spring的集成(三)

本文介绍RabbitMQ与Spring的简单集成以及消息的发送和接收。 在RabbitMQ的Spring配置文件中,首先需要增加命名空间。 xmlns:rabbit="http://www.springframework.org/schema/rabbit" 其次是模...

onedotdot ⋅ 今天 ⋅ 0

JAVA实现仿微信红包分配规则

最近过年发红包拜年成为一种新的潮流,作为程序猿对算法的好奇远远要大于对红包的好奇,这里介绍一种自己想到的一种随机红包分配策略,还请大家多多指教。 算法介绍 一、红包金额限制 对于微...

小致dad ⋅ 今天 ⋅ 0

Python 数电表格格式化 xlutils xlwt xlrd的使用

需要安装 xlutils xlwt xlrd 格式化前 格式化后 代码 先copy读取的表格,然后按照一定的规则修改,将昵称中的学号提取出来替换昵称即可 from xlrd import open_workbookfrom xlutils.copy ...

阿豪boy ⋅ 今天 ⋅ 0

面试题:使用rand5()生成rand7()

前言 读研究生这3 年,思维与本科相比变化挺大的,这几年除了看论文、设计方案,更重要的是学会注重先思考、再实现,感觉更加成熟吧,不再像个小P孩,人年轻时总会心高气傲。有1 道面试题:给...

初雪之音 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部