文档章节

关于 rabbitmq和kafka 的一点点理解

专业写BUG的程序员
 专业写BUG的程序员
发布于 2017/08/30 19:09
字数 312
阅读 326
收藏 0

rabbitmq 的使用

1 2 3 4 5 6 7 8 9 10 11 12 13              

一个生产者进程或者多个生产者进程往队列尾部添加需处理的任务

多个消费者从队列拿数据进行消费。

进程1拿1后,进程2拿2,进程1拿3,进程2拿4。。。。

rabbitmq 似乎是没有存储的概念。

将进程移到不同的机器上自然就能利用多台机器进行处理任务。

 

kafka 的使用

将消息进行存储

1 2 3 4 5 6 7 8 9 10 11 12 13              

消费者(group)连接topic,指定offset开始进行消费。

 

 

borker4 已经挂掉。。。

如果 record 落在 partition 0  则被发送到 broker 1,同步到 broker 2

如果 record 落在 partition 1  则被发送到 broker 0 ,  同步到 broker 2

如果 record 落在 partition 3 则被发送到 broker 2 , 同步到 broker 0 和 broker 1. 

 

 

 

关于 batch.size 和 linger.ms   ,  达到batch.size 提交,达到指定时间也提交。

5ms内数据量没有达到batch.size(默认16K) 提交。

如果1ms 您的数据量能达到32K,请重新设置batch.size .

貌似以前做项目时事数据积累到100条往solr提交一次,神似。

 

 

 

© 著作权归作者所有

共有 人打赏支持
专业写BUG的程序员
粉丝 7
博文 103
码字总数 19999
作品 0
海淀
私信 提问
ActiveMQ RabbitMQ KafKa对比

前言: ActiveMQ和 RabbitMq 以及Kafka在之前的项目中都有陆续使用过,当然对于三者没有进行过具体的对比,以下摘抄了一些网上关于这三者的对比情况,我自己看过之后感觉还 是可以的,比较清...

xiaomin0322
05/11
0
0
MQ-RabbitMq部署安装配置

环境准备 本次实验使用的是VMvare虚拟机。详情如下 hostname: node1.server ip地址:192.168.0.150 网卡:eth0,eth1 系统及硬件:CentOS 7.2 内存2G,硬盘50G 一、 什么是RabbitMq 消息队列又...

linuxzkq
06/26
0
0
rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较

Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一...

xumaojun
05/06
0
0
爬虫架构 | 消息队列应用场景及ActiveMQ、RabbitMQ、RocketMQ、Kafka对比

前言:在之前的业务中,使用了Kafka和RabbitMQ两种消息队列,这篇文章来做一个总结。 消息队列中间件是分布式系统中重要的组件,主要实现异步消息,应用解耦,流量削峰及消息通讯等功能。 下...

小怪聊职场
04/26
0
0
消息中间件—RabbitMQ(集群原理与搭建篇)

摘要:实际生产应用中都会采用消息队列的集群方案,如果选择RabbitMQ那么有必要了解下它的集群方案原理 一般来说,如果只是为了学习RabbitMQ或者验证业务工程的正确性那么在本地环境或者测试...

癫狂侠
05/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

spring学习笔记(二)spring 事件的使用

spring 中的事件 spring事件通过订阅发布 可以解耦操作 可以同步 可以异步 步骤 编写事件 通过继承org.springframework.context.ApplicationEvent 来编写事件 public ApplicationEvent(Obj...

NotFound403
17分钟前
1
0
特斯拉车主成功破解了自己Model 3汽车

据汽车博客Electrek消息,一位特斯拉车主成功破解了自己Model 3汽车,还在此基础上运行了Ubuntu。 这位叫trsohmers的网友表示,“功劳大多要归到Ingineerix的头上,他花了数月才找到初始的那...

linuxCool
31分钟前
1
0
Gitbook : random errors when using gitbook plugin on running "gitbook serve"

在执行gitbook serve时,会有不定的失败错误 参考问题 :#1309 解决方案: 更新gitbook版本,这个问题似乎是3版本的问题 , 官方也不打算在这个版本解决了。 更新 到最新版本后, 不再出现问...

ol_O_O_lo
45分钟前
1
0
提灯照暗,向内自省——《中国文化的深层结构》读书笔记3800字

提灯照暗,向内自省——《中国文化的深层结构》读书笔记3800字: 作者:王健茜;断断续续一个多月才读完了《中国文化的深层结构》,这并不是一本难懂的书,之所以读得慢,源于对书中观点的思...

原创小博客
48分钟前
1
0
高德地图-行政区域接口

1、获取全国各省信息 https://restapi.amap.com/v3/config/district?extensions=all&key=应用Key&s=rsv3&output=json 2、获取下级行政区域信息 https://restapi.amap.com/v3/config/distric......

voole
59分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部