关于 rabbitmq和kafka 的一点点理解
博客专区 > tuerqidi 的博客 > 博客详情
关于 rabbitmq和kafka 的一点点理解
tuerqidi 发表于4个月前
关于 rabbitmq和kafka 的一点点理解
  • 发表于 4个月前
  • 阅读 52
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

rabbitmq 的使用

1 2 3 4 5 6 7 8 9 10 11 12 13              

一个生产者进程或者多个生产者进程往队列尾部添加需处理的任务

多个消费者从队列拿数据进行消费。

进程1拿1后,进程2拿2,进程1拿3,进程2拿4。。。。

rabbitmq 似乎是没有存储的概念。

将进程移到不同的机器上自然就能利用多台机器进行处理任务。

 

kafka 的使用

将消息进行存储

1 2 3 4 5 6 7 8 9 10 11 12 13              

消费者(group)连接topic,指定offset开始进行消费。

 

 

borker4 已经挂掉。。。

如果 record 落在 partition 0  则被发送到 broker 1,同步到 broker 2

如果 record 落在 partition 1  则被发送到 broker 0 ,  同步到 broker 2

如果 record 落在 partition 3 则被发送到 broker 2 , 同步到 broker 0 和 broker 1. 

 

 

 

关于 batch.size 和 linger.ms   ,  达到batch.size 提交,达到指定时间也提交。

5ms内数据量没有达到batch.size(默认16K) 提交。

如果1ms 您的数据量能达到32K,请重新设置batch.size .

貌似以前做项目时事数据积累到100条往solr提交一次,神似。

 

 

 

共有 人打赏支持
粉丝 8
博文 55
码字总数 16958
×
tuerqidi
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: