文档章节

MQ消息传输可靠性/消息丢失

请把小熊还给我_m
 请把小熊还给我_m
发布于 02/10 15:53
字数 1178
阅读 157
收藏 0

3 月,跳不动了?>>>

RabbitMQ

 

解决方案

1、生产者将消息传输给mq时丢失

A:可以使用 RabbitMQ 提供的事务功能;
生产者 发送数据之前开启 RabbitMQ 事务 channel.txSelect,再发送消息,如果消息没有成功被 RabbitMQ 接收到,那么生产者会收到异常报错,此时就可以回滚事务 channel.txRollback,然后重试发送消息;如果收到了消息,那么可以提交事务 channel.txCommit
// 开启事务
channel.txSelect
try {
    // 这里发送消息
} catch (Exception e) {
    channel.txRollback

    // 这里再次重发这条消息
}

// 提交事务
channel.txCommit

这样会降低吞吐量,降低性能。

B:开启 confirm 模式;
生产者开启 confirm 模式之后,每次写的消息都会分配一个唯一的 id,如果写入了 RabbitMQ 中,RabbitMQ 会回传一个 ack 消息,表示这个消息 ok 了。如果 RabbitMQ 没能处理这个消息,会回调生产者nack 接口表示消息接收失败,生产者可以重试。而且生产者可以结合这个机制自己在内存里维护每个消息 id 的状态,如果超过一定时间还没接收到这个消息的回调,那么可以重发。

事务机制和 cnofirm 机制最大的不同在于,事务机制是同步的,生产者提交一个事务之后会阻塞在那儿,但是 confirm 机制是异步的,发送个消息之后就可以发送下一个消息,RabbitMQ 接收了之后会异步回调生产者的接口通知该消息接收到了。

所以一般在生产者这块避免数据丢失,都是用 confirm 机制的。

2、RabbitMQ弄丢了数据

解决方案:开启 RabbitMQ 的持久化;消息写入之后会持久化到磁盘,如果RabbitMQ 挂了,恢复之后会自动读取之前存储的数据

如何开启持久化?< 两个缺一不可>

  • 创建 queue 的时候将其设置为持久化           ——可以保证 RabbitMQ 持久化 queue 的元数据,但是不会持久化 queue 里的数据
  • 发送消息的时候将消息的 deliveryMode 设置为 2      ——将消息设置为持久化的,此时 RabbitMQ 就会将消息持久化到磁盘上去。

注意:如果RabbitMQ 还没持久化就挂了,可能导致少量数据丢失,但是这个概率较小。所以,持久化可以跟生产者那边的 confirm 机制配合起来,只有消息被持久化到磁盘之后,才会通知生产者 ack 了,所以哪怕是在持久化到磁盘之前,RabbitMQ 挂了,数据丢了,生产者收不到 ack,生产者也是可以自己重发的。

3、消费者刚接收到消息,还没来得及处理进程挂掉了。

可以使用 RabbitMQ 提供的 ack 机制;关闭 RabbitMQ 的自动 ack,可以通过一个 api 来调用,消费者处理完消息之后,再在程序里 ack 一次。如果消费者接收消息但是没有处理完成, RabbitMQ 会把这个消费分配给别的 consumer 去处理,消息是不会丢的。

 

Kafka

1、消费者接受了消息,自动提交了 offset, Kafka 以为消费者已经处理了消息,但其实消费者才开始处理。如果进程挂了会导致消息丢失。

关闭自动提交 offset,在处理完之后消费者手动提交 offset,此时需保证幂等性避免提交失败重复消费。

2、Kafka 某个 broker 宕机,选举leader时导致数据未完全同步,丢失数据。

  • 给 topic 设置 replication.factor 参数:这个值必须大于 1,要求每个 partition 必须有至少 2 个副本。
  • 在 Kafka 服务端设置 min.insync.replicas 参数:这个值必须大于 1,这个是要求一个 leader 至少感知到有至少一个 follower 还跟自己保持联系,没掉队,这样才能确保 leader 挂了还有一个 follower 吧。
  • 在 producer 端设置 acks=all:这个是要求每条数据,必须是写入所有 replica 之后,才能认为是写成功了
  • 在 producer 端设置 retries=MAX(很大很大很大的一个值,无限次重试的意思):这个是要求一旦写入失败,就无限重试,卡在这里了。

3、生产者丢失数据

在2中设置了 acks=all那就不回丢失数据。

© 著作权归作者所有

请把小熊还给我_m
粉丝 22
博文 52
码字总数 69711
作品 0
杭州
私信 提问
加载中

评论(1)

M
Mr小周
你怎么那么高产😂

暂无文章

为什么只能在头文件中实现模板? - Why can templates only be implemented in the header file?

问题: Quote from The C++ standard library: a tutorial and handbook : 引用来自C ++标准库:教程和手册 : The only portable way of using templates at the moment is to implement t......

javail
今天
19
0
Gradle 6 针对已有的构建如何创建一个构建扫描

有关构建扫描的定义为: 构建扫描(build scan)是一个中心化并且可以共享的构建记录。这个构建记录通常能够告诉在构建中发生了什么并且为什么会发生。 通过应用构建扫描插件到你的项目中,你...

honeymoose
今天
17
0
C语言动态内存分配:(一)malloc/free的实现及malloc实际分配/释放的内存

一、malloc/free概述 malloc是在C语言中用于在程序运行时在堆中进行动态内存分配的库函数。free是进行内存释放的库函数。 1、函数原型 #include <stdlib.h> void *malloc( size_t size ); v...

shzwork
今天
17
0
什么是JavaBean? - What is a JavaBean exactly?

问题: I understood, I think, that a "Bean" is a Java class with properties and getters/setters. 我认为,“ Bean”是具有属性和getter / setter的Java类。 As much as I understand,......

技术盛宴
今天
27
0
深圳援鄂最后一批工作人员归来,88万元关爱金发放至85人

中国公益在线3月31日深圳讯 深圳援鄂最后一批工作人员归来......深圳市民政局、深圳市卫健委和深圳市慈善会发起了“深爱战疫天使基金”项目,联合龙华区慈善会和 永贤慈善基金会,进行第二次...

传承天下融媒体中心
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部