文档章节

基于docker部署的微服务架构(五): docker环境下的zookeeper和kafka部署

 月冷X心寒
发布于 2016/11/21 19:22
字数 655
阅读 3403
收藏 23

kafka简单介绍

KafkaLinkedIn 开源的一种高吞吐量的分布式发布订阅消息系统,kafka的诞生就是为了处理海量日志数据,所以kafka处理消息的效率非常高,即使是非常普通的硬件也可以支持每秒数百万的消息。
kafka 天然支持集群负载均衡,使用 zookeeper 进行分布式协调管理。不支持事务,有一定概率丢失消息。
kafka 的特点,决定了使用场景:日志中间件。

下载docker镜像

zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest

创建并启动容器

先启动zookeeper:

docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime \
zookeeper:latest

zookeeper启动完成后再启动kafka:

docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主机的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest

向kafka发送测试消息

运行 docker ps,找到kafka的 CONTAINER ID,运行 docker exec -it ${CONTAINER ID} /bin/bash,进入kafka容器。
进入kafka默认目录 /opt/kafka_2.11-0.10.1.0,运行 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test,创建一个 topic 名称为 test
运行 bin/kafka-topics.sh --list --zookeeper zookeeper:2181 查看当前的 topic 列表。
运行一个消息生产者,指定 topic 为刚刚创建的 testbin/kafka-console-producer.sh --broker-list localhost:9092 --topic test,输入一些测试消息。
运行一个消息消费者,同样指定 topictestbin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning,可以接收到生产者发送的消息。

最后

kafka 环境已经搭建完成,接下来我们要对之前的工程进行改造,使用 log4j2kafka appender 把日志统一输出到 kafka 日志中间件。
日志导入 kafka 之后,接下来的处理就比较灵活了,可以用不同功能的消费者订阅感兴趣的 topic,进行日志分析。例如:使用 kafka 作为 storm 的数据来源 spout,进行流式处理;订阅 kafka 中需要做离线统计处理的 topic,把数据保存到数据库,一般是 mongodbhbase 这种数据结构松散的 nosql 数据库;又或者可以使用 flumelogstash 这种管道工具,把数据导入到其他的系统,比如 elasticsearchsolr 等。
kafka 作为最常用的日志中间件,可以把分散的日志集中到一处,并做缓冲处理,再和其他开源工具进行集成,对数据做进一步处理,是日志统计系统的基础组件。

© 著作权归作者所有

粉丝 207
博文 13
码字总数 25192
作品 0
南京
架构师
私信 提问
加载中

评论(1)

笑雨田
笑雨田
在mac下使用Docker Toolbox部署kafka时,设置KAFKA_ADVERTISED_HOST_NAME该值时,使用192.168.99.100无效,后尝试使用mac本机ip也无效,使用172.17.0.4也无效,无法联通生产和消费。
最后改用Docker for Mac,设置KAFKA_ADVERTISED_HOST_NAME时使用本机mac的ip,实现了生产消费的联通。希望对大家有所帮助。
Docker环境下的kafka部署

1.下载两个官方images docker pull confluentinc/cp-zookeeper docker pull confluentinc/cp-kafka 2.然后创建一个docker-compose.yml 配置如下: version: '2' services: zookeeper: image:......

littlemesieV
03/01
131
2
spring cloud微服务分布式云架构 - Spring Cloud简介

Spring Cloud是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发,如服务发现、注册、配置中心、消息总线、负载均衡、断路器、数据监控等(这里只简单的列了...

明理萝
2018/11/01
168
3
(一)构建spring cloud微服务分布式云架构 - Spring Cloud简介

Spring Cloud是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发,如服务发现、注册、配置中心、消息总线、负载均衡、断路器、数据监控等(这里只简单的列了...

SpringCloud关注者
2018/09/26
672
1
SpringCloud--鸿鹄Cloud分布式微服务云系统

简介 鸿鹄云Cloud是基于SpringCloud来封装的,是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发,如服务发现、注册、配置中心、消息总线、负载均衡、断路器...

itcloud
2018/07/25
1K
0
Spring Cloud-honghu Cloud分布式微服务云系统

简介 鸿鹄云Cloud是基于SpringCloud来封装的,是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发,如服务发现、注册、配置中心、消息总线、负载均衡、断路器...

itcloud
2018/04/25
525
0

没有更多内容

加载失败,请刷新页面

加载更多

为什么?老程序员申请加薪至30K遭拒愤然辞职,公司转眼花35K招新

身在职场,经常会暗自打听同事工资,尤其是得知身边新入职同事的工资居然比自己高,还高出一大截时,心里自然很不平衡,一心想要离职。 那么,为什么公司宁愿花高价招聘新员工也不愿意给老员...

Java技术剑
2分钟前
1
0
云桌面到底是什么,企业该用云桌面吗

随着云计算和大数据时代的到来,当前企业里讨论最多的话题之一就是:企业到底要不要用云桌面这个话题的,有的人说企业应该使用云桌面的,因为可以降低使用成本和简化运维管理,同时也有的人说...

GZASD
7分钟前
1
0
技术分享 | gh-ost 原理剖析

作者简介: 杨奇龙,网名“北在南方”,7年DBA老兵,目前任职于杭州有赞科技DBA,主要负责数据库架构设计和运维平台开发工作,擅长数据库性能调优、故障诊断。 一、简介 上一篇文章(gh-ost ...

爱可生
10分钟前
3
0
手机短信删除了怎么恢复?几个方法就能恢复

  手机短信删除了怎么恢复?前几天有个小伙伴收到了一条来着面试的通知,这个面试对他很重要,但是可气的是刚好在清理手机里面的垃圾短信,然后收到了短信之后又被删除了,却又不知道该怎么...

科技第六人
25分钟前
4
0
浅谈Builder建造者模式

一、前言 Builder建造者模式和模板模式非常像,但是也有区别,模板模式中父类对子类中的实现进行操作,在父类之中进行一件事情的处理,但是在Builder模式之中,父类和子类都不用关心怎么处理...

青衣霓裳
29分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部