Kafka的底层实现原理

原创
2019/04/16 19:06
阅读数 3.1K

Kafka的架构组建

Topic:消息存放的目录主题

Producer:生产消息到topic的一方

Consumer:订阅topic消费消息的一方

Consumergroup:各个consumer可以组成一个组,每个消息只能被组中的一个consumer消费,如果一个消息能被多个consumer消费,那么这些个consumer肯定不在同一个组中

(所以同一个groupid下的consumer是各自消费消息的,不会出现消费同一个消息的情况出现

 

 

 

Kafka性能优秀原因揭秘

  1. kafka中的message并不是保存在内存中的,而是保存在了磁盘上,唯一的区别是他运用了顺序写,而并非采用随机写,顺序写的速度在600MB/S,随机写的速度在100KB/S,这个性能的提升的效果明显的,顺序写的效率并不比内存写差,甚至合理运用效率更高(充分利用了操作系统的预读、后写机制)
  2. kafka通过sendfile命令,减少了数据拷贝,数据的拷贝基本全在内存中完成。(原先是将数据从硬盘读到内核区的pageCache,然后用户进程copy到用户区,用户区在吧数据写进socket中)现在是省掉了用户copy数据这一步,直接让内核区的数据写入socket中
  3. push-and-pull:producer批量的push数据,consumer批量的pull数据,减少了io的次数

 

 

kafka和rabbitmq区别

 

  1. rabbitmq比kafka更严谨,不易出现消息的丢失,原因是rabbit有一个ack消息确认机制,只有消息处理完毕后,consumer才会给server发送一个回执,将queue中的消息删除,否则不会被删除
  2. rabbitmq同样支持持久化,配置一个durable = true即可

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
Broker:Kafka的服务实例就是一个broker(一个kafka集群由多个broker服务器组成,作用是拿来负责持久化以及备份具体的kafka信息)
2019/04/16 22:11
回复
举报
更多评论
打赏
1 评论
0 收藏
0
分享
返回顶部
顶部