文档章节

关于 rabbitmq和kafka 的一点点理解

tuerqidi
 tuerqidi
发布于 2017/08/30 19:09
字数 312
阅读 246
收藏 0

rabbitmq 的使用

1 2 3 4 5 6 7 8 9 10 11 12 13              

一个生产者进程或者多个生产者进程往队列尾部添加需处理的任务

多个消费者从队列拿数据进行消费。

进程1拿1后,进程2拿2,进程1拿3,进程2拿4。。。。

rabbitmq 似乎是没有存储的概念。

将进程移到不同的机器上自然就能利用多台机器进行处理任务。

 

kafka 的使用

将消息进行存储

1 2 3 4 5 6 7 8 9 10 11 12 13              

消费者(group)连接topic,指定offset开始进行消费。

 

 

borker4 已经挂掉。。。

如果 record 落在 partition 0  则被发送到 broker 1,同步到 broker 2

如果 record 落在 partition 1  则被发送到 broker 0 ,  同步到 broker 2

如果 record 落在 partition 3 则被发送到 broker 2 , 同步到 broker 0 和 broker 1. 

 

 

 

关于 batch.size 和 linger.ms   ,  达到batch.size 提交,达到指定时间也提交。

5ms内数据量没有达到batch.size(默认16K) 提交。

如果1ms 您的数据量能达到32K,请重新设置batch.size .

貌似以前做项目时事数据积累到100条往solr提交一次,神似。

 

 

 

© 著作权归作者所有

共有 人打赏支持
tuerqidi
粉丝 7
博文 98
码字总数 17597
作品 0
海淀
ActiveMQ RabbitMQ KafKa对比

前言: ActiveMQ和 RabbitMq 以及Kafka在之前的项目中都有陆续使用过,当然对于三者没有进行过具体的对比,以下摘抄了一些网上关于这三者的对比情况,我自己看过之后感觉还 是可以的,比较清...

xiaomin0322
05/11
0
0
rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较

Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一...

xumaojun
05/06
0
0
MQ-RabbitMq部署安装配置

环境准备 本次实验使用的是VMvare虚拟机。详情如下 hostname: node1.server ip地址:192.168.0.150 网卡:eth0,eth1 系统及硬件:CentOS 7.2 内存2G,硬盘50G 一、 什么是RabbitMq 消息队列又...

linuxzkq
06/26
0
0
爬虫架构 | 消息队列应用场景及ActiveMQ、RabbitMQ、RocketMQ、Kafka对比

前言:在之前的业务中,使用了Kafka和RabbitMQ两种消息队列,这篇文章来做一个总结。 消息队列中间件是分布式系统中重要的组件,主要实现异步消息,应用解耦,流量削峰及消息通讯等功能。 下...

小怪聊职场
04/26
0
0
消息中间件—RabbitMQ(集群监控篇1)

摘要:任何没有监控的系统上线,一旦在生产环境发生故障,那么排查和修复问题的及时性将无法得到保证 一、为何要对消息中间件进行监控? 上线的业务系统需要监控,然而诸如消息队列、数据库、...

癫狂侠
05/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

windbg学习记录

我开始熟练使用windbg是从帮助手册开始的,也就是.hh命令。 就像学习windows开发从msdn开始一样,微软的产品虽然不开源,但是文档做的是相当的好。然而那些开源的东西呢?开源的竞争力其实就...

simpower
5分钟前
0
0
学习scala的网站汇总

https://www.codacy.com/blog/how-to-learn-scala/

Littlebox
7分钟前
0
0
配置本地的cloud9开发环境

前言 说到(前端)在线IDE开发环境,cloud9是不能绕过的,cloud9支持很多语言,默认支持的就有Node.js,Python,Ruby,PHP,Go,更逆天的是,他还支持数据库,包括MySQL,MongoDB,Redis,S...

Kefy
11分钟前
0
0
springcloud应用程序上下文层次结构

如果您从SpringApplication或SpringApplicationBuilder构建应用程序上下文,则将Bootstrap上下文添加为该上下文的父级。这是一个Spring的功能,即子上下文从其父进程继承属性源和配置文件,因...

itcloud
16分钟前
0
0
新程序员最爱的免费资源

简评:国外美女程序员推荐了她自己用过的一些免费资源,对新手比较友好的那种。 原作者 Ali Spittel,是个美女程序员,以下这些资源都是她自己试过的。以下「我」代表 Ali Spittel。 学 HTML...

极光推送
19分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部