文档章节

Kafka实战(五) - 核心API及适用场景全面解析

J
 JavaEdge
发布于 11/16 01:35
字数 1389
阅读 28
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

1 四个核心API

● Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic。

● Consumer API 允许一个应用程序订阅一个或多个topic ,并且对发布给他们的流式数据进行处理。

● Streams API 允许一个应用程序作为一个流处理器,消费一个或者多个topic产生的输入流,然后生产一个输出流到一个或多个topic中去,在输入输出流中进行有效的转换。

● Connector API 允许构建并运行可重用的生产者或者消费者,将Kafka topics连接到已存在的应用程序或者数据系统。比如,连接到一个关系型数据库,捕捉表(table) 的所有变更内容。

在Kafka中,客户端和服务器之间的通信是通过简单,高性能,语言无关的TCP协 议完成的。此协议已版本化并保持与旧版本的向后兼容性。Kafka提供多种语言客 户端。

2 Kafka API - producer

  • Producer会为每个partition维护一个缓冲,用来记录还没有发送的数据,每个缓冲区大小用batch.size指定,默认值为16k.

  • linger.ms为,buffer中的数据在达到batch.size前,需要等待的时间

  • acks用来配置请求成功的标准

  • send异步方法

3 Kafka API - Consumer

3.1 Simple Cnsumer

位于kafka.javaapi.consumer包中,不提供负载均衡、容错的特性每次获取数据都要指定topic、partition、offset、 fetchSize

3.2 High-level Consumer

该客户端透明地处理kafka broker异常,透明地切换consumer的partition, 通过和broker交互来实现consumer group级别的负载均衡。

  • Group

4 整体架构

5 使用场景

5.1 消息系统

消息系统被用于各种场景,如解耦数据生产者,缓存未处理的消息。Kafka 可作为传统的消息系统的替代者,与传统消息系统相比,kafka有更好的吞吐量、更好的可用性,这有利于处理大规模的消息。

根据经验,通常消息传递对吞吐量要求较低,但可能要求较低的端到端延迟,并经常依赖kafka可靠的durable机制。

在这方面,Kafka可以与传统的消息传递系统(ActiveMQ 和RabbitMQ)相媲美。

5.2 存储系统

写入到kafka中的数据是落地到了磁盘上,并且有冗余备份,kafka允许producer等待确认,通过配置,可实现直到所有的replication完成复制才算写入成功,这样可保证数据的可用性。

Kafka认真对待存储,并允许client自行控制读取位置,你可以认为kafka是-种特殊的文件系统,它能够提供高性能、低延迟、高可用的日志提交存储。

5.3 日志聚合

日志系统一般需要如下功能:日志的收集、清洗、聚合、存储、展示。

Kafka常用来替代其他日志聚合解决方案。(官方说法,略有夸大嫌疑)

和Scribe、Flume相 比,Kafka提供同样好的性能、更健壮的堆积保障、更低的端到端延迟。 日志会落地,导致kafka做 日志聚合更昂贵

kafka可实现日志的清洗(需要编码)、聚合(可靠但昂贵,因为需要落地磁盘)、存储。 ELK是现在比较流行的日志系统。在kafka的配合 下才是更成熟的方案,kafka在ELK技术栈中,主要起到buffer的作用,必要时可进行日志的汇流。.

5.4 跟踪网站活动

kafka的最初始作用就是,将用户行为跟踪管道重构为一组实时发布-订阅源。 把网站活动(浏览网页、搜索或其他的用户操作)发布到中心topics中,每种活动类型对应一个topic。基于这些订阅源,能够实现一系列用例,如实时处理、实时监视、批量地将Kafka的数据加载到Hadoop或离线数据仓库系统,进行离线数据处理并生成报告。

每个用户浏览网页时都生成了许多活动信息,因此活动跟踪的数据量通常非常大。(Kafka实际应用)

5.5 流处理 - kafka stream API

Kafka社区认为仅仅提供数据生产、消费机制是不够的,他们还要提供流数据实时处理机制

从0.10.0.0开始, Kafka通过提供Strearms API来提供轻量,但功能强大的流处理。实际上就是Streams API帮助解决流引用中一些棘手的问题,比如:

  • 处理无序的数据
  • 代码变化后再次处理数据
  • 进行有状态的流式计算

Streams API的流处理包含多个阶段,从input topics消费数据,做各种处理,将结果写入到目标topic, Streans API基于kafka提供的核心原语构建,它使用kafka consumer、 producer来输入、输出,用Kfka来做状态存储。

流处理框架: flink spark streamingJ Stortm、 Samza 本是正统的流处理框架,Kafka在流处理中更多的是扮演流存储的角色。

> 本文由博客一文多发平台 OpenWrite 发布!

© 著作权归作者所有

J
粉丝 0
博文 69
码字总数 184421
作品 0
南京
私信 提问
荐书 | 有关Hadoop、Kafka、RabbitMQ的三本大数据好书

攻克大数据难关并非易事,除了选对合适的技术,用对正确的工具书也至关重要。好的技术书籍能够帮助大伙儿从根本掌握举一反三的能力,拓展技术视野。 为帮助大家从本质和实战两个层面同时入手...

DBAplus社群
05/05
0
0
Kafka实战(五) - Kafka的秘技"坂本"之争

只有顺应版本,才能成就王者不败神话 也是能否用好Kafka的关键。 不论是哪种Kafka,本质上都基于core Apache Kafka 那就来说说Apache Kafka版本号的问题 1 缘何"在乎"你这版本号 直接使用最新...

JavaEdge
08/28
63
0
大数据经典学习路线(及供参考)

转:https://blog.csdn.net/yuexianchang/article/details/52468291 目录(?)[+]

junzixing1985
2018/04/15
0
0
Java后端工程师学习大纲

之前自己总结过的Java后端工程师技能树,其涵盖的技术点比较全面,并非一朝一夕能够全部覆盖到的。对于一些还没有入门或者刚刚入门的Java后端工程师,如果一下子需要学习如此多的知识,想必很...

JackFace
2016/07/08
663
0
转Elasticsearch顶尖高手系列课程

Elasticsearch,是目前行业中非常热门的一个技术。Elasticsearch是一种分布式的海量数据搜索与分析的技术,可以用于电商网站、门户网站、企业IT系统等各种场景下的搜索引擎,也可以用于对海量...

小花卷juan
2017/06/24
126
0

没有更多内容

加载失败,请刷新页面

加载更多

采购单品汇总_华南.xlsx

import pandas as pdimport matplotlib.pyplot as pltimport matplotlib as mp1mp1.rcParams["font.family"] = "STFangsong"# 加载《销售》表数据df1 = pd.read_excel(r"C:\Us......

龙玉滕
今天
5
0
OSChina 周五乱弹 —— 一次四千 要4次还能多给一千

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @这次装个文艺青年吧 :#今日歌曲推荐# 分享金志文的单曲《远走高飞》: 版权又回来了现在听歌得好几个软件 《远走高飞》- 金志文 手机党少年们...

小小编辑
今天
7
0
Spring Cloud Alibaba 实战(十) - Spring Cloud GateWay

> 本文主要内容是:为什么要使用网关,整合Gateway,Gateway核心学习:Route,Predicate,Filter,最后使用Gateway聚合微服务请求 先总结至此的架构 1 网关的价值 不使用网关行嘛? 各个请求直接打在...

JavaEdge
今天
4
0
【CKB.DEV 茶话会】第二期:聊聊 CKB 钱包和 Nervos DAO 全流程

CKB.DEV 茶话会第二期:聊聊 CKB 钱包和 Nervos DAO 全流程 为了鼓励更多优秀的开发者和研究人员参与到 CKB 的开发和生态建设中去,我们希望组织一系列 CKB Developer Seminar(CKB.DEV 茶话...

NervosCommunity
今天
4
0
聊聊rocketmq的HAClient

序 本文主要研究一下rocketmq的HAClient HAClient rocketmq-all-4.6.0-source-release/store/src/main/java/org/apache/rocketmq/store/ha/HAService.java class HAClient extends Serv......

go4it
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部