加载中
Kafka Controller重设计

本文主要参考社区0.11版本Controller的重设计方案,试图给大家梳理一下Kafka controller这个组件在设计上的一些重要思考。众所周知,Kafka中有个关键组件叫controller,负责管理和协调Kafka...

2017/06/12 11:54
17
【译】调优Apache Kafka集群

今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https...

2017/06/03 11:50
29
Flink分布式运行环境

任务和操作算子链接(operator chain) 分布式执行过程中,Flink会将操作算子子任务(subtask)链接成一个个具体的任务(task),在不同的线程中执行。链接操作算子在一起实际上是个优化:减少了线...

2017/05/23 16:43
107
Apache Flink编程模型

层次模型 Flink编程模型提供了4个抽象层次,它们分别是: 最底层:提供了有状态流,通过Process Function被集成进DataStream API和DataSet API。用户可自由地处理多个stream中的事件维护一致...

2017/05/23 11:30
301
Apache Flink Quickstart

本文在CentOS 6 64bit机器上演示Apache Flink环境的搭建以及运行测试样例。 下载Flink 1. 下载Flink: http://flink.apache.org/downloads.html 2. 解压下载文件, 当前最新版本是flink-1.2.1...

2017/05/22 14:54
194
Apache Flink介绍

Flink:开源分布式流式处理框架 基本特性 提供准确的结果,即使是面对无序或延迟数据 有状态的且容错,可无缝恢复,且能维持精确一次处理语义 运行在大规模多节点上,有很好的TPS和延时性能 ...

2017/05/22 10:43
272
【译】Kafka学习之路

一直在思考写一些什么东西作为2017年开篇博客。突然看到一篇《Kafka学习之路》的博文,觉得十分应景,于是决定搬来这“他山之石”。虽然对于Kafka博客我一向坚持原创,不过这篇来自Confluent...

2017/05/20 08:33
67
Kafka producer剖析

Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 新版本Producer 首先明确一下,新版本producer指的是o.a...

2017/05/19 17:19
46
Kafka manager安装 (支持新版本consumer)

下载地址: https://pan.baidu.com/s/1jIE3YL4 步骤: 1. 解压kafka-manager-1.3.2.1.zip 2. cd kafka-manager-1.3.2.1 3. 修改conf/application.conf文件,特别是kafka-manager.zkhosts的配...

2017/05/19 17:17
33
Java API方式调用Kafka各种协议

众所周知,Kafka自己实现了一套二进制协议(binary protocol)用于各种功能的实现,比如发送消息,获取消息,提交位移以及创建topic等。具体协议规范参见:Kafka协议 这套协议的具体使用流程为...

2017/05/19 17:15
16
Kafka版本升级(无停机)

升级Kafka集群的版本其实很简单,核心步骤只需要4步,但是我们需要在升级的过程中确保每一步操作都不会“打扰”到producer和consumer的正常运转。为此,笔者在本机搭了一个测试环境进行实际的...

2017/05/19 17:10
718
Kafka创建Topic(API方式)

Kafka官方提供了两个脚本来管理topic,包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除;kafka-configs.sh脚本负责topic的修改和查询,但很多用户都更加倾向于使用程序API的...

2017/05/19 17:02
213
KAFKA-4614问题复盘 (MappedByteBuffer未关闭导致慢磁盘访问)

很早之前就想动笔就这个kafka bug总结一番了,只是这个问题既不是本人发现,也不是自己动手修复,终归是底气不足,故而一直耽搁下来。怎奈此问题实在是含金量十足,又恰逢最近有人询问Kafka...

2017/05/19 16:55
54
【译】Kafka最佳实践

本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享,里面给出了很多关于Kafka的使用心得,非常值得一看,今推荐给大家。 硬件配置 JBOD: Just bunch of disks,就是...

2017/05/19 16:49
128
Kafka双向兼容了!

在Kafka 0.10.2.0之前,Kafka服务器端和客户端版本之间的兼容性是“单向”的,即高版本的broker可以处理低版本client的请求。反过来,低版本的broker不能处理高版本client的请求。由于升级c...

2017/05/19 16:47
160
Kafka 0.11版本新功能: 空消费组延时rebalance

 在0.11之前的版本中,多个consumer实例加入到一个空消费组将导致多次的rebalance,这是由于每个consumer instance启动的时间不可控,很有可能超出coordinator确定的rebalance timeout(即m...

2017/05/19 16:31
60
Streaming 101

学习streaming、streaming system以及背后的设计思想

2017/05/19 16:23
78
Kafka环境安装与部署

本文讲述如何安装Apache Kafka,包括安装Kafka的broker服务器和Apache zookeeper组件。Kafka使用zookeeper来保存broker的元数据信息。另外本文还会涉及到Kafka多节点集群的安装以及常规参数的...

2017/02/17 09:54
110

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部