加载中
Kafka Controller重设计

本文主要参考社区0.11版本Controller的重设计方案,试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知,Kafka中有个关键组件叫controller,负责管理和协调Kafka...

2017/06/12 11:54
17
【译】调优Apache Kafka集群

今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https...

2017/06/03 11:50
29
【译】Kafka学习之路

一直在思考写一些什么东西作为2017年开篇博客。突然看到一篇《Kafka学习之路》的博文,觉得十分应景,于是决定搬来这“他山之石”。虽然对于Kafka博客我一向坚持原创,不过这篇来自Confluent...

2017/05/20 08:33
67
Kafka producer剖析

Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 新版本Producer 首先明确一下,新版本producer指的是o.a...

2017/05/19 17:19
46
Kafka manager安装 (支持新版本consumer)

下载地址: https://pan.baidu.com/s/1jIE3YL4 步骤: 1. 解压kafka-manager-1.3.2.1.zip 2. cd kafka-manager-1.3.2.1 3. 修改conf/application.conf文件,特别是kafka-manager.zkhosts的配...

2017/05/19 17:17
33
Java API方式调用Kafka各种协议

众所周知,Kafka自己实现了一套二进制协议(binary protocol)用于各种功能的实现,比如发送消息,获取消息,提交位移以及创建topic等。具体协议规范参见:Kafka协议 这套协议的具体使用流程为...

2017/05/19 17:15
16
Kafka版本升级(无停机)

升级Kafka集群的版本其实很简单,核心步骤只需要4步,但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此,笔者在本机搭了一个测试环境进行实际的...

2017/05/19 17:10
718
Kafka创建Topic(API方式)

Kafka官方提供了两个脚本来管理topic,包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除;kafka-configs.sh脚本负责topic的修改和查询,但很多用户都更加倾向于使用程序API的...

2017/05/19 17:02
213
KAFKA-4614问题复盘 (MappedByteBuffer未关闭导致慢磁盘访问)

很早之前就想动笔就这个kafka bug总结一番了,只是这个问题既不是本人发现,也不是自己动手修复,终归是底气不足,故而一直耽搁下来。怎奈此问题实在是含金量十足,又恰逢最近有人询问Kafka...

2017/05/19 16:55
54
【译】Kafka最佳实践

本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享,里面给出了很多关于Kafka的使用心得,非常值得一看,今推荐给大家。 硬件配置 JBOD: Just bunch of disks,就是...

2017/05/19 16:49
128
Kafka双向兼容了!

在Kafka 0.10.2.0之前,Kafka服务器端和客户端版本之间的兼容性是“单向”的,即高版本的broker可以处理低版本client的请求。反过来,低版本的broker不能处理高版本client的请求。由于升级c...

2017/05/19 16:47
159
Kafka 0.11版本新功能: 空消费组延时rebalance

 在0.11之前的版本中,多个consumer实例加入到一个空消费组将导致多次的rebalance,这是由于每个consumer instance启动的时间不可控,很有可能超出coordinator确定的rebalance timeout(即m...

2017/05/19 16:31
60
Kafka环境安装与部署

本文讲述如何安装Apache Kafka,包括安装Kafka的broker服务器和Apache zookeeper组件。Kafka使用zookeeper来保存broker的元数据信息。另外本文还会涉及到Kafka多节点集群的安装以及常规参数的...

2017/02/17 09:54
110

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部