文档章节

使用redis作为队列的一些实践方式

wankaiming
 wankaiming
发布于 2017/04/06 18:11
字数 460
阅读 38
收藏 1

一般为了并发数量更加高,响应速度更加快,会考虑将比较耗时的动作异步化处理。

1.可以使用异步注解,用异步线程来完成。

Spring框架的话,直接用个异步注解就好@Async。

2.可以使用redis的订阅和发布、redis列表的左进右出来实现消息队列。订阅和发布是为了即时通知到订阅线程处理数据,列表主要是防止宕机消息丢失。当然redis持久化要配置好,推荐(并且也是默认)的措施为每秒fsync一次, 这种fsync策略可以兼顾速度和安全性。

具体实现步骤如下:

2.1.当要执行耗时动作时,先将message写入redis列表(lpush),然后发布一个消息到redis指定频道(publish channel message),message可以是消息对象的json字符串,以便订阅端好解析出来。

2.2.随着项目启动时,建立一个线程,专门订阅redis一个指定频道(subscribe channel)。当收到消息时,就从redis列表取出数据(rpop),然后解析出消息对象,接着进行耗时动作的逻辑处理。

这个取列表数据的动作应该要用do..while的形式,是为了防止宕机,redis的列表数据还没处理完,下次消息过来的时候,就会把之前遗留的一直处理完毕。

//message是订阅过来的消息内容,queueValue是列表里面取出来的消息内容
do{
	queueValue = redisClientTemplate.rpop(key);
	doSomeThing(queueValue);
}while(null!=queueValue && !message.equals(queueValue));

如果消息数量级别很大,服务器资源也够的情况下,也可以尝试采用功能更加全面的ActiveMQ,它跟Spring整合起来也比较简单。

© 著作权归作者所有

共有 人打赏支持
wankaiming

wankaiming

粉丝 72
博文 227
码字总数 61416
作品 0
广州
高级程序员
私信 提问
Rails App 之间的三种"通讯"方式实践

三种方式 API接口通讯 Sidekiq gRPC Rails环境 Rails 5.1.4 Ruby 2.3.3 redis Two Rails App: jerry_app listen: 127.0.0.1:9001 tom_app listen: 127.0.0.1:9002 定义一个请求方向: tomapp......

pathbox
2018/01/06
0
0
celery最佳实践

作为一个Celery使用重度用户,看到Celery Best Practices这篇文章,不由得菊花一紧。干脆翻译出来,同时也会加入我们项目中celery的实战经验。 通常在使用Django的时候,你可能需要执行一些长...

蜷缩的蜗牛
2017/05/10
0
0
铂赛东/liteBatch

liteBatch liteBatch是一个轻量级,高性能,高通用的批插框架。 能够像普通insert一样在循环中插入PO 支持数据库和文件批插2种模式 异步执行,无阻塞 可以和各种ORM结合使用 提供对spring的支...

铂赛东
2016/11/11
0
0
聊聊 Redis 使用场景

使用场景说明 计数器 数据统计的需求非常普遍,通过原子递增保持计数。例如,点赞数、收藏数、分享数等。 排行榜 排行榜按照得分进行排序,例如,展示最近、最热、点击率最高、活跃度最高等等...

小神神的大草原
2016/11/22
16
0
基于 Python2.7 的日志系统 - Loglog

Loglog 采用Python2.7开发的日志系统 工作之余偶然看到网上提供的解决方案,顺便加上自己的一些想法来实现一把。 系统原理:日志提供接口远程请求的方式,项目用到了redis的队列,先请求过来...

伽利略phper
2018/04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 没时间 没头发 但有钱

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @开源中国总经办主任 :分享齐一的单曲《这个年纪》 《这个年纪》- 齐一 手机党少年们想听歌,请使劲儿戳(这里) @肿肿卷 :我真的可以睡一天...

小小编辑
27分钟前
10
4
Django进阶 1.1 ORM基础—ORM 1.2.1 增删改查之查询 1.2.2 删改增 (1) 1.2.3 删改增 (2)

ORM基础 ORM是Django操作数据库的API,Django的作者将sql语句封装在里面供我们使用。 我们前面还提到过Django提供一个模拟数据库的工具,sqlite,供我们学习测试使用。 如果我们想使用mysql...

隐匿的蚂蚁
今天
3
0
Windows 上安装 Scala

在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 ...

honeymose
今天
3
0
数据库篇多表操作

第1章 多表操作 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系...

stars永恒
今天
3
0
nginx日志自动切割

1.日志配置(Nginx 日志) access.log----记录哪些用户,哪些页面以及用户浏览器,IP等访问信息;error.log------记录服务器错误的日志 #配置日志存储路径:location / {      a...

em_aaron
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部