文档章节

Kafka MirrorMaker

Yulong_
 Yulong_
发布于 2017/04/28 17:36
字数 375
阅读 117
收藏 0

当我们需要在两个kafka集群之间同步数据时,我们Kafka自带工具MirrorMaker,该工具用于镜像Kafka集群之间的数据。从一个或多个源集群读取并写入目标集群。

输入图片说明

输入图片说明

一个最基本的应用就是可以为另一个数据中心提供一个数据复制。您可以运行许多这样的镜像过程,以提高吞吐量和容错能力(如果一个进程死亡,其他人将采取额外的负载)。 数据将从源集群中的Topic中读取,并写入目标集群中具有相同名称的Topic。事实上,MirrorMaker只不过是一个Kafka的消费者加生产者。

创建镜像配置目录

cd $KAFKA_HOME
mkdir mirrorconf

创建源集群配置文件mirrorconf/sourceCluster.config

zookeeper.connect=sourcezk:2181/kafka0822
group.id=mirror1
zookeeper.connection.timeout.ms=1000000
consumer.timeout.ms=-1

创建目标集群配置文件mirrorconf/targetCluster.config

compression.codec=none
metadata.broker.list=targetbroker:9092
producer.type=async

执行命令进行mirror复制,这里测试Topic为mirrortest

bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config mirrorconf/sourCluster.config  --num.streams 1 --producer.config mirrorconf/targetCluster.config --whitelist="mirrortest"

工具参数

$ bin/kafka-run-class.sh kafka.tools.MirrorMaker --help
    
   Continuously copy data between two Kafka clusters.
Option                                  Description                            
------                                  -----------                            
--blacklist <Java regex (String)>       Blacklist of topics to mirror.         
--consumer.config <config file>         Consumer config to consume from a      
                                          source cluster. You may specify      
                                          multiple of these.                   
--help                                  Print this message.                    
--new.producer                          Use the new producer implementation.   
--num.producers <Integer: Number of     Number of producer instances (default: 
  producers>                              1)                                   
--num.streams <Integer: Number of       Number of consumption streams.         
  threads>                                (default: 1)                         
--producer.config <config file>         Embedded producer config.              
--queue.size <Integer: Queue size in    Number of messages that are buffered   
  terms of number of messages>            between the consumer and producer    
                                          (default: 10000)                     
--whitelist <Java regex (String)>       Whitelist of topics to mirror.

© 著作权归作者所有

Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
kafka的 配置怎么陪

ZooKeeper Root zookeeper.chroot Kafka(服务范围) Enable Kerberos Authentication kerberos.auth.enable Kafka(服务范围) Topic Auto Creation auto.create.topics.enable Kafka(服务......

天池番薯
2016/12/09
720
0
【Kafka】MirrorMaker 跨集群同步方案

https://cwiki.apache.org/confluence/display/KAFKA/Kafka+mirroring+(MirrorMaker) 一、 Kafka's mirroring feature makes it possible to maintain a replica of an existing kafka clust......

HarryWu
2016/04/15
918
0
​福利丨又一波大数据新书推介,来做第一个吃螃蟹的人吧!

又到了每周发福利的时刻! 延续上期主题,本期给大家带来3本@图灵教育的大数据新书推荐 小编云: 经典读物固然能让收获有所保障 可新书却给人更多阅读的新鲜体验 来吧,一起做第一个吃螃蟹的...

DBAplus社群
2017/12/20
0
0
怎么用Kafka 实现数据中心到数据中心的复制?

它能做什么? 此功能允许您在两个不同的数据中心A和B中运行两个ArangoDB 群集,并设置从A到B的异步复制。这意味着数据中心A中的群集A可以照常用于读取和写入操作以及所有更改数据通过网络复制...

GermanWifi
2017/10/30
582
4
ArangoDB 3.3 Milestone 1 发布,多模型 NoSQL 数据库

ArangoDB 是一个开源的分布式原生多模型数据库 (Apache 2 license)。 ArangoDB 3.3 Milestone 1 发布了,主要改进内容包括 ArangoDB 对多数据中心的初步支持。可让你在不同的数据中心分别运行...

周其
2017/10/17
434
2

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部