文档章节

Kafka写入数据保证不丢失

春哥大魔王的博客
 春哥大魔王的博客
发布于 05/20 17:38
字数 257
阅读 10
收藏 0

Kafka写入数据保证不丢失:

  1. 每个partition至少有一个follower在ISR列表中,跟上了Leader的数据同步
  2. 每次写入数据时,都要求至少写入partition leader成功,还至少一个ISR里的follower写入成功,才算写入成功
  3. 如果不满足以上两个条件,就一直认为写入失败,让生产系统不断尝试,直到满足以上两个条件,才确认写入成功
  4. 根据以上三条,配置相应参数,才能保证写入kafka数据不会丢失

所以如果leader宕机,切换到那个follower上去,follower上有刚写入的数据,此时数据就不再丢失了。

© 著作权归作者所有

上一篇: PTH建设
下一篇: 一文读懂DDD
春哥大魔王的博客
粉丝 25
博文 249
码字总数 205595
作品 0
海淀
程序员
私信 提问
消息中间件系列第3讲:使用消息队列需要考虑的几个问题

一般情况下,我们使用消息队列需要考虑下面几个问题: 如何保证消息的幂等性(消息重复)? 如何保证消息的顺序性(消息有序)? 如何保证消息的可靠性(消息丢失)? 消息幂等性 幂等性其实是...

陈树义
01/07
0
0
记一次kafka数据丢失问题的排查

数据丢失为大事,针对数据丢失的问题我们排查结果如下。 第一:是否存在数据丢失的问题? 存在,且已重现。 第二:是在什么地方丢失的数据,是否是YDB的问题? 数据丢失是在导入阶段,数据并...

徐学良
2018/02/03
0
0
Spark Streaming使用Kafka保证数据零丢失

源文件放在github,随着理解的深入,不断更新,如有谬误之处,欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming使用kafka保证数据零丢...

jacksu
2016/01/16
806
0
mq 消息丢失或消息重复的问题

Kafka消息保证不丢失和重复消费问题: 使用同步模式的时候,有3种状态保证消息被安全生产,在配置为1(只保证写入leader成功)的话,如果刚好leader partition挂了,数据就会丢失。 还有一种...

srdlhz
2018/02/27
0
0
Kafka设计解析(二):Kafka High Availability (上)

Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢 复,亦或磁盘故障,则其上数据...

pior
2015/12/18
55
0

没有更多内容

加载失败,请刷新页面

加载更多

你需要知道的 5 个 Linux 新手会犯的失误

Linux 爱好者们分享了他们犯下的一些最大错误。 终身学习是明智的 —— 它可以让你的思维敏捷,让你在就业市场上更具竞争力。但是有些技能比其他技能更难学,尤其是那些小菜鸟错误,当你尝试...

xiangyunyan
13分钟前
0
0
来迟了,用Python助你叠猫猫,抢618大红包!

目录: 0 引言 1 环境 2 需求分析 3 前置准备 4 逛店铺流程回顾 5 代码全景展示 6 总结 0 引言 最近叠猫猫的活动可真是十分的火爆,每天小伙伴们为了合猫猫忙的可谓是如火如荼。为啥要叠猫猫...

上海小胖
20分钟前
0
0
FPGA 设备 USB Platform Cable USB

lsusbFuture Technology Devices International, Ltd FT232H Single HS USB-UART/FIFO IC

MtrS
今天
4
0
lua web快速开发指南(6) - Cache、DB介绍

"数据库"与"缓存"的基本概念 数据库与缓存是服务端开发人员的必学知识点. 数据库 "数据库"是一种信息记录、存取的虚拟标记地点的集合统称. 比如现实生活中, 我们经常会用到文件柜、书桌等等数...

水果糖的小铺子
今天
9
0
Oracle分页查询语句的写法

Oracle分页查询语句的写法 Oracle分页查询语句使我们最常用的语句之一,下面就为您介绍的Oracle分页查询语句的用法,Oracle分页查询语句基本上可以按本文给出的格式来进行套用。   Oracle分...

康师傅
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部