文档章节

Kafka Mirror Maker

China_OS
 China_OS
发布于 2017/01/20 16:44
字数 417
阅读 817
收藏 0

介绍

        Kafka Mirror Maker,可以把kafka集群中的消息复制到另一个kafka集群,这在测试环境引流的时候,或者需要把多个不同kafka集群的消息合并在一个大集群的时候非常有用,kafka mirror maker的原理图如下:

        入上图架构,kafka mirror在部署的时候,是部署在target集群这边的,而且需要指定consumer和producer的配置文件。

配置文件

        source.consumer.configure:

bootstrap.servers=10.205.151.11:9092
zookeeper.connect=10.205.52.15:2181,10.205.52.16:2181,10.205.52.17:2181
zookeeper.connection.timeout.ms=1000000
group.id=prd-MirrorMaker-webjs
message.max.bytes=7000000
fetch.message.max.bytes=7500000
max.partition.fetch.bytes=7500000
replica.fetch.max.bytes=7500000

        target.producer.configure:

bootstrap.servers=10.205.58.25:9092,10.205.58.26:9092,10.205.58.27:9092
message.max.bytes=7000000
fetch.message.max.bytes=7500000
max.partition.fetch.bytes=7500000
replica.fetch.max.bytes=7500000

启动

        命令

kafka-run-class.sh kafka.tools.MirrorMaker  \
    --consumer.config ../config/source.consumer.configure  \
    --producer.config ../config/target.producer.configure   \
    --num.streams 4  \
	--new.consumer  \
    --whitelist="app_loginsession"

        参数

--consumer.config	指定针对source集群的consumer配置文件 
--producer.config	指定针对target集群的producer配置文件 
--whitelist	 一个逗号分隔的,希望复制的topic列表
--blacklist	 使用java正则匹配的topic列表,将会被拒绝复制
--num.streams	创建多少consumer流线程.	--num.streams 4
--num.producers	指定创建多少producer实例. --num.producers 2
--queue.size	多少消息会被buffer,Default = 10000. --queue.size 2000

检查

        命令

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker  \
    --group KafkaMirror  \
    --zkconnect dc1-zk:2181  \
    --topic test-topic

        参数

--group	mirror进程中consumer的group名称.
--zkconnect	source kafka集群的zk地址.
--broker-info	source kafka集群的broker信息.
--topic	逗号分隔的你想查看的topic列表,如果没有指定,则显示所有的topic.

 

 

 

© 著作权归作者所有

China_OS
粉丝 427
博文 463
码字总数 519985
作品 0
静安
技术主管
私信 提问
【Kafka】MirrorMaker 跨集群同步方案

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+mirroring+(MirrorMaker) 一、 Kafka's mirroring feature makes it possible to maintain a replica of an existing kafka clust......

HarryWu
2016/04/15
920
0
Apache Kafka 0.10.0.1 发布

Apache Kafka 0.10.0.1 发布,这是一个 bug 修复版本,主要改进记录包括: New Feature [KAFKA-3538] - Abstract the creation/retrieval of Producer for stream sinks for unit testing I......

oschina
2016/08/11
3K
4
新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/87898176 新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展...

朱小厮
02/23
0
0
Building Microservices With Netflix OSS, Apache Kafka, and Spring Boot - Part 2

After Part 1 of this series, here is what comes next: Although we are not going to use the distributed features of Kafka for the test, it is still a distributed system and is bu......

Iskren Ivanov
2017/12/11
0
0
.twitter:chill_2.11:0.8.0 requires scala version: 2.11.7 [WARNING] Multiple versions of scala libraries detected!

- scala-maven-plugin:3.2.0:compile (scala-compile-first) @ spark-kafka --- [WARNING] Expected all dependencies to require Scala version: 2.11.8 [WARNING] com.twitter:chill_2.11:......

知行合一1
2017/07/04
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

作为一个(IT)程序员!聊天没有话题?试试这十二种技巧

首先呢?我是一名程序员,经常性和同事没话题。 因为每天都会有自己的任务要做,程序员对于其他行业来说;是相对来说比较忙的。你会经常看到程序员在发呆、调试密密麻麻代码、红色报错发呆;...

小英子wep
今天
15
0
【SpringBoot】产生背景及简介

一、SpringBoot介绍 Spring Boot 是由 Pivotal 团队提供的全新框架,其设计目的是用来简化新 Spring 应用的初始搭建以及开发过程,该框架使用了特定的方式来进行配置,从而使开发人员不再需要...

zw965
今天
5
0
简述并发编程分为三个核心问题:分工、同步、互斥。

总的来说,并发编程可以总结为三个核心问题:分工、同步、互斥。 所谓分工指的是如何高效地拆解任务并分配给线程,而同步指的是线程之间如何协作,互斥则是保证同一时刻只允许一个线程访问共...

dust8080
今天
6
0
OSChina 周四乱弹 —— 当你简历注水但还是找到了工作

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享成龙的单曲《男儿当自强》。 《男儿当自强》- 成龙 手机党少年们想听歌,请使劲儿戳(这里) @hxg2016 :刚在...

小小编辑
今天
3.4K
22
靠写代码赚钱的一些门路

作者 @mezod 译者 @josephchang10 如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。 今天给大家分享一个精彩的 GitHub 库,这个库整理...

高级农民工
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部