文档章节

使用redis作为队列的一些实践方式

wankaiming
 wankaiming
发布于 2017/04/06 18:11
字数 460
阅读 38
收藏 1

一般为了并发数量更加高,响应速度更加快,会考虑将比较耗时的动作异步化处理。

1.可以使用异步注解,用异步线程来完成。

Spring框架的话,直接用个异步注解就好@Async。

2.可以使用redis的订阅和发布、redis列表的左进右出来实现消息队列。订阅和发布是为了即时通知到订阅线程处理数据,列表主要是防止宕机消息丢失。当然redis持久化要配置好,推荐(并且也是默认)的措施为每秒fsync一次, 这种fsync策略可以兼顾速度和安全性。

具体实现步骤如下:

2.1.当要执行耗时动作时,先将message写入redis列表(lpush),然后发布一个消息到redis指定频道(publish channel message),message可以是消息对象的json字符串,以便订阅端好解析出来。

2.2.随着项目启动时,建立一个线程,专门订阅redis一个指定频道(subscribe channel)。当收到消息时,就从redis列表取出数据(rpop),然后解析出消息对象,接着进行耗时动作的逻辑处理。

这个取列表数据的动作应该要用do..while的形式,是为了防止宕机,redis的列表数据还没处理完,下次消息过来的时候,就会把之前遗留的一直处理完毕。

//message是订阅过来的消息内容,queueValue是列表里面取出来的消息内容
do{
	queueValue = redisClientTemplate.rpop(key);
	doSomeThing(queueValue);
}while(null!=queueValue && !message.equals(queueValue));

如果消息数量级别很大,服务器资源也够的情况下,也可以尝试采用功能更加全面的ActiveMQ,它跟Spring整合起来也比较简单。

© 著作权归作者所有

共有 人打赏支持
wankaiming

wankaiming

粉丝 70
博文 226
码字总数 60574
作品 0
广州
高级程序员
celery最佳实践

作为一个Celery使用重度用户,看到Celery Best Practices这篇文章,不由得菊花一紧。干脆翻译出来,同时也会加入我们项目中celery的实战经验。 通常在使用Django的时候,你可能需要执行一些长...

蜷缩的蜗牛
2017/05/10
0
0
Rails App 之间的三种"通讯"方式实践

三种方式 API接口通讯 Sidekiq gRPC Rails环境 Rails 5.1.4 Ruby 2.3.3 redis Two Rails App: jerry_app listen: 127.0.0.1:9001 tom_app listen: 127.0.0.1:9002 定义一个请求方向: tomapp......

pathbox
01/06
0
0
铂赛东/liteBatch

liteBatch liteBatch是一个轻量级,高性能,高通用的批插框架。 能够像普通insert一样在循环中插入PO 支持数据库和文件批插2种模式 异步执行,无阻塞 可以和各种ORM结合使用 提供对spring的支...

铂赛东
2016/11/11
0
0
聊聊 Redis 使用场景

使用场景说明 计数器 数据统计的需求非常普遍,通过原子递增保持计数。例如,点赞数、收藏数、分享数等。 排行榜 排行榜按照得分进行排序,例如,展示最近、最热、点击率最高、活跃度最高等等...

小神神的大草原
2016/11/22
16
0
基于 Python2.7 的日志系统 - Loglog

Loglog 采用Python2.7开发的日志系统 工作之余偶然看到网上提供的解决方案,顺便加上自己的一些想法来实现一把。 系统原理:日志提供接口远程请求的方式,项目用到了redis的队列,先请求过来...

伽利略phper
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java基础知识,小栗子

来操作一下数组.....注意带参数的变长数组的使用. package com.avatus;import java.util.Random;import java.util.Scanner;public class Main { public static void main(St...

Oh_really
4分钟前
0
0
SSO单点登录PHP简单版

  前面做了一个新项目,需要用户资源可以需要共享。由于之前没有做过这样的东西,回家之后,立马网站百度“单点登录”。帖子很多,甄别之后,这里列几篇认为比较有营养。   http://blog...

slagga
41分钟前
2
0
Java 泛型详解-绝对是对泛型方法讲解最详细的,没有之一

对java的泛型特性的了解仅限于表面的浅浅一层,直到在学习设计模式时发现有不了解的用法,才想起详细的记录一下。 本文参考java 泛型详解、Java中的泛型方法、 java泛型详解 1 概述 泛型在j...

hensemlee
45分钟前
2
0
Annotation注解详细介绍

目录介绍 1.Annotation库的简单介绍 2.@Nullable和@NonNull 3.资源类型注释 4.类型定义注释 5.线程注释 6.RGB颜色纸注释 7.值范围注释 8.权限注释 9.重写函数注释 10.返回值注释 11.@Keep注释...

潇湘剑雨
47分钟前
2
0
一步步编写自己的PHP爬取代理IP项目(二)

这一章节我们正式开展我们的爬虫项目,首先我们先要知道哪个网站能获取到免费代理IP,目前比较火的有西刺代理,快代理等,这里我们拿西刺代理作为例子。 这里就是一个个免费的IP地址以及各自...

NateHuang
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部