文档章节

使用redis作为队列的一些实践方式

wankaiming
 wankaiming
发布于 2017/04/06 18:11
字数 460
阅读 37
收藏 1
点赞 0
评论 0

一般为了并发数量更加高,响应速度更加快,会考虑将比较耗时的动作异步化处理。

1.可以使用异步注解,用异步线程来完成。

Spring框架的话,直接用个异步注解就好@Async。

2.可以使用redis的订阅和发布、redis列表的左进右出来实现消息队列。订阅和发布是为了即时通知到订阅线程处理数据,列表主要是防止宕机消息丢失。当然redis持久化要配置好,推荐(并且也是默认)的措施为每秒fsync一次, 这种fsync策略可以兼顾速度和安全性。

具体实现步骤如下:

2.1.当要执行耗时动作时,先将message写入redis列表(lpush),然后发布一个消息到redis指定频道(publish channel message),message可以是消息对象的json字符串,以便订阅端好解析出来。

2.2.随着项目启动时,建立一个线程,专门订阅redis一个指定频道(subscribe channel)。当收到消息时,就从redis列表取出数据(rpop),然后解析出消息对象,接着进行耗时动作的逻辑处理。

这个取列表数据的动作应该要用do..while的形式,是为了防止宕机,redis的列表数据还没处理完,下次消息过来的时候,就会把之前遗留的一直处理完毕。

//message是订阅过来的消息内容,queueValue是列表里面取出来的消息内容
do{
	queueValue = redisClientTemplate.rpop(key);
	doSomeThing(queueValue);
}while(null!=queueValue && !message.equals(queueValue));

如果消息数量级别很大,服务器资源也够的情况下,也可以尝试采用功能更加全面的ActiveMQ,它跟Spring整合起来也比较简单。

© 著作权归作者所有

共有 人打赏支持
wankaiming

wankaiming

粉丝 71
博文 226
码字总数 64083
作品 0
广州
高级程序员
celery最佳实践

作为一个Celery使用重度用户,看到Celery Best Practices这篇文章,不由得菊花一紧。干脆翻译出来,同时也会加入我们项目中celery的实战经验。 通常在使用Django的时候,你可能需要执行一些长...

siddontang ⋅ 2014/06/25 ⋅ 6

celery最佳实践

作为一个Celery使用重度用户,看到Celery Best Practices这篇文章,不由得菊花一紧。干脆翻译出来,同时也会加入我们项目中celery的实战经验。 通常在使用Django的时候,你可能需要执行一些长...

蜷缩的蜗牛 ⋅ 2017/05/10 ⋅ 0

铂赛东/liteBatch

liteBatch liteBatch是一个轻量级,高性能,高通用的批插框架。 能够像普通insert一样在循环中插入PO 支持数据库和文件批插2种模式 异步执行,无阻塞 可以和各种ORM结合使用 提供对spring的支...

铂赛东 ⋅ 2016/11/11 ⋅ 0

Rails App 之间的三种"通讯"方式实践

三种方式 API接口通讯 Sidekiq gRPC Rails环境 Rails 5.1.4 Ruby 2.3.3 redis Two Rails App: jerry_app listen: 127.0.0.1:9001 tom_app listen: 127.0.0.1:9002 定义一个请求方向: tomapp......

pathbox ⋅ 01/06 ⋅ 0

【干货合集】NoSQL技术体系深度解读系列(一):Redis,从技术原理到最佳实践

2018年开年知识盛会——NoSQL数据库直播大讲堂峰会,将于1月19日、23日、25日与大家见面,阿里云Redis、MongoDB、HBase的15位技术专家、产品专家将给大家带来深度的技术及产品分享。本次峰会...

场景研读 ⋅ 01/08 ⋅ 0

聊聊 Redis 使用场景

使用场景说明 计数器 数据统计的需求非常普遍,通过原子递增保持计数。例如,点赞数、收藏数、分享数等。 排行榜 排行榜按照得分进行排序,例如,展示最近、最热、点击率最高、活跃度最高等等...

小神神的大草原 ⋅ 2016/11/22 ⋅ 0

基于 Python2.7 的日志系统 - Loglog

Loglog 采用Python2.7开发的日志系统 工作之余偶然看到网上提供的解决方案,顺便加上自己的一些想法来实现一把。 系统原理:日志提供接口远程请求的方式,项目用到了redis的队列,先请求过来...

伽利略phper ⋅ 04/16 ⋅ 0

分布式任务队列Celery快速上手

Celery介绍 celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。 它侧重于实时操作,但对调度支持也很好。 celery用于生产系统每天处理数以百万计的任务。 celery是用Python编写...

张旭0512 ⋅ 2014/03/25 ⋅ 0

Redis能干啥?细看11种Web应用场景

Redis的一个很大好处就是可以不用整个转入到这个数据库,而是可以沿用之前的MySQL等数据库,而仅在一些特定的应用场景通过Redis的特性提高效率。本文列出了11个这样的Web应用场景,如显示最新...

mickelfeng ⋅ 2013/02/03 ⋅ 0

Redis基础笔记 (二)

其他 事务 Redis中事务是一组命令的集合, 一个事务中的命令要么都执行, 要么都不执行 > MULTI> SADD k1 v1> SADD k2 v2> EXEC 注意, 不支持回滚功能 SORT 可以对列表/集合/有序集合进行排序 ...

Airship ⋅ 2016/02/18 ⋅ 1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

熊掌号收录比例对于网站原创数据排名的影响[图]

从去年下半年开始,我在写博客了,因为我觉得业余写写博客也还是很不错的,但是从2017年下半年开始,百度已经推出了原创保护功能和熊掌号平台,为此,我也提交了不少以前的老数据,而这些历史...

原创小博客 ⋅ 39分钟前 ⋅ 0

LVM讲解、磁盘故障小案例

LVM LVM就是动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理。 1.新建分区,更改类型为8e 即L...

蛋黄Yolks ⋅ 57分钟前 ⋅ 0

Hadoop Yarn调度器的选择和使用

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负...

p柯西 ⋅ 今天 ⋅ 0

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 今天 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 1

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部