文档章节

使用redis作为队列的一些实践方式

wankaiming
 wankaiming
发布于 2017/04/06 18:11
字数 460
阅读 38
收藏 1

一般为了并发数量更加高,响应速度更加快,会考虑将比较耗时的动作异步化处理。

1.可以使用异步注解,用异步线程来完成。

Spring框架的话,直接用个异步注解就好@Async。

2.可以使用redis的订阅和发布、redis列表的左进右出来实现消息队列。订阅和发布是为了即时通知到订阅线程处理数据,列表主要是防止宕机消息丢失。当然redis持久化要配置好,推荐(并且也是默认)的措施为每秒fsync一次, 这种fsync策略可以兼顾速度和安全性。

具体实现步骤如下:

2.1.当要执行耗时动作时,先将message写入redis列表(lpush),然后发布一个消息到redis指定频道(publish channel message),message可以是消息对象的json字符串,以便订阅端好解析出来。

2.2.随着项目启动时,建立一个线程,专门订阅redis一个指定频道(subscribe channel)。当收到消息时,就从redis列表取出数据(rpop),然后解析出消息对象,接着进行耗时动作的逻辑处理。

这个取列表数据的动作应该要用do..while的形式,是为了防止宕机,redis的列表数据还没处理完,下次消息过来的时候,就会把之前遗留的一直处理完毕。

//message是订阅过来的消息内容,queueValue是列表里面取出来的消息内容
do{
	queueValue = redisClientTemplate.rpop(key);
	doSomeThing(queueValue);
}while(null!=queueValue && !message.equals(queueValue));

如果消息数量级别很大,服务器资源也够的情况下,也可以尝试采用功能更加全面的ActiveMQ,它跟Spring整合起来也比较简单。

© 著作权归作者所有

共有 人打赏支持
wankaiming

wankaiming

粉丝 72
博文 226
码字总数 60574
作品 0
广州
高级程序员
私信 提问
铂赛东/liteBatch

liteBatch liteBatch是一个轻量级,高性能,高通用的批插框架。 能够像普通insert一样在循环中插入PO 支持数据库和文件批插2种模式 异步执行,无阻塞 可以和各种ORM结合使用 提供对spring的支...

铂赛东
2016/11/11
0
0
celery最佳实践

作为一个Celery使用重度用户,看到Celery Best Practices这篇文章,不由得菊花一紧。干脆翻译出来,同时也会加入我们项目中celery的实战经验。 通常在使用Django的时候,你可能需要执行一些长...

蜷缩的蜗牛
2017/05/10
0
0
Rails App 之间的三种"通讯"方式实践

三种方式 API接口通讯 Sidekiq gRPC Rails环境 Rails 5.1.4 Ruby 2.3.3 redis Two Rails App: jerry_app listen: 127.0.0.1:9001 tom_app listen: 127.0.0.1:9002 定义一个请求方向: tomapp......

pathbox
01/06
0
0
聊聊 Redis 使用场景

使用场景说明 计数器 数据统计的需求非常普遍,通过原子递增保持计数。例如,点赞数、收藏数、分享数等。 排行榜 排行榜按照得分进行排序,例如,展示最近、最热、点击率最高、活跃度最高等等...

小神神的大草原
2016/11/22
16
0
Redis基础笔记 (二)

其他 事务 Redis中事务是一组命令的集合, 一个事务中的命令要么都执行, 要么都不执行 > MULTI> SADD k1 v1> SADD k2 v2> EXEC 注意, 不支持回滚功能 SORT 可以对列表/集合/有序集合进行排序 ...

Airship
2016/02/18
44
1

没有更多内容

加载失败,请刷新页面

加载更多

聊聊storm的AggregateProcessor的execute及finishBatch方法

序 本文主要研究一下storm的AggregateProcessor的execute及finishBatch方法 实例 TridentTopology topology = new TridentTopology(); topology.newStream("spout1", spout......

go4it
今天
3
0
大数据教程(7.5)hadoop中内置rpc框架的使用教程

博主上一篇博客分享了hadoop客户端java API的使用,本章节带领小伙伴们一起来体验下hadoop的内置rpc框架。首先,由于hadoop的内置rpc框架的设计目的是为了内部的组件提供rpc访问的功能,并不...

em_aaron
今天
4
0
CentOS7+git+github创建Python开发环境

1.准备CentOS7 (1)下载VMware Workstation https://pan.baidu.com/s/1miFU8mk (2)下载CentOS7镜像 https://mirrors.aliyun.com/centos/ (3)安装CentOS7系统 http://blog.51cto.com/fengyuns......

枫叶云
昨天
3
0
利用ibeetl 实现selectpicker 的三级联动

1. js 直接写在html页面上面,ibeetl 就可以动态地利用后台传上来的model List ,不需要每次点击都要ajax请求后台 2. 使用selectpicker 的时候,除了对selecct option的动态处理后,还需要 $("#...

donald121
昨天
3
0
Android SELinux avc dennied权限问题解决方法

1. 概述 SELinux是Google从android 5.0开始,强制引入的一套非常严格的权限管理机制,主要用于增强系统的安全性。 然而,在开发中,我们经常会遇到由于SELinux造成的各种权限不足,即使拥有“...

TreasureWe
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部