文档章节

精通Apache Flink必读系列文章

群星纪元
 群星纪元
发布于 2019/03/15 11:19
字数 718
阅读 305
收藏 3

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

Flink是最接近于谷歌Dataflow大数据分析平台的设计的开源分布式计算引擎,其核心设计理念与Spark有很大的不同。

从设计出发点,Flink是一个流计算处理计算引擎,把批处理视为无限流计算的一种特例,Spark是批处理计算引擎,把流处理视为迷你批处理,因为设计上的差异,导致在对处理时延要求高的场景中,Flink更加合适。

从生态上来说,二者都有SQL、机器学习、图计算等基本的组件,但是Spark在丰富程度、成熟度方面比Flink有优势。

关于Flink的资料已经相当多了,笔者就不做画蛇添足写了,要掌握Flink的精妙,必须要了解其底层的基本原理,以下是必读的资料:

理解Flink的设计原则
Google Stream 101越了批处理的流处理世界

Google Stream 102超越了批处理的流处理世界

Flink原理和实现
Flink的架构和拓扑概览

理解 Flink 中的计算资源

Flink如何生成ExecutionGraph及物理执行图

Flink 生成StreamGraph

Flink Window的实现原理

Flink中的状态管理

Flink中的反压Back-Pressure

Flink Operator Chain原理

Flink内存管理

Flink异步快照机制-Failover

数据流的类型和操作

Flink Async IO(异步IO)

Flink SQL
Flink SQL的大部分代码实现是阿里巴巴的Blink团队贡献给Apache的。

Flink SQL 核心功能解密

Flink SQL维表Join和异步优化

Flink SQL 异步IO设计

Flink SQL数据去重的技巧和思考

Flink SQL TOP N的挑战与实现

Flink SQL 流计算“撤回(Retraction)”案例分析

Flink SQL 解决热点问题的大杀器MiniBatch

Flink Table API&SQL的概念和通用API

Flink CEP复杂事件处理
Flink-CEP论文与源码解读之状态与状态转换

Flink之CEP-API简介

Flink之CEP案例分析-网络攻击检测

Flink-CEP之NFA

Flink-CEP之NFA编译器

Flink-CEP之模式流与运算符

Flink事务
Flink Streaming Ledger 支持流式处理ACID事务!

Flink源码解析
Apache Flink源码解析 DataStream API

Flink Exactly Once语义
flink的两阶段提交协议-实现端到端的Exactly Once语义

Flink案例
Flink在唯品会的实践

Flink在美团的实践应用

Flink在G7的实践

Flink在饿了么的应用

基于Flink的实时特征平台在Flink的应用

未完待续!
 

本文转载自:https://blog.csdn.net/ffjl1985/article/details/81775019

群星纪元
粉丝 47
博文 456
码字总数 44497
作品 0
朝阳
高级程序员
私信 提问
Apache Flink 漫谈系列 - Fault Tolerance

实际问题 在流计算场景中,数据会源源不断的流入Apache Flink系统,每条数据进入Apache Flink系统都会触发计算。那么在计算过程中如果网络、机器等原因导致Task运行失败了,Apache Flink会如...

金竹
2018/11/11
0
0
Apache Flink 漫谈系列 - 序

Who 本人 孙金城,淘宝花名"金竹",阿里巴巴高级技术专家,Apache Flink Committer。目前就职于阿里巴巴计算平台事业部,自2015年以来一直投入于基于Apache Flink的新一代大数据计算平台Bli...

金竹
2018/11/08
0
0
Apache Flink 进阶(五):数据类型和序列化

作者:马庆祥 整理:毛鹤 本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Fli...

巴蜀真人
2019/10/23
0
0
Apache Flink 进阶(六):Flink 作业执行深度解析

作者:岳猛 整理:毛鹤 本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,...

巴蜀真人
2019/11/05
0
0
Apache Flink 1.6.1 发布,新增输入/输出缓冲区指标

Apache Flink 1.6.1 发布了,Apache Flink 是一个开源的流处理框架,应用于分布式、高性能、始终可用的、准确的数据流应用程序。 这是 1.6 系列的第一个 bugfix 版本,此版本包括 60 个修复程...

h4cd
2018/09/21
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

dynamic-connectivity 动态连通性问题之 quick-union 算法

quick-union 的思想是:若对象 p 的 root_id 和对象 q 的 root_id 相等,则认为 p 和 q 连通。 若要将对象 p 和对象 q 连通(已知两对象未连通),则将 p 的 root_id 的值设为 q 的 root_id ...

Phpythoner_Alei
今天
33
0
OSChina 周六乱弹 —— 实在选不出来就唱国歌

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享阿冗的单曲《你的答案》。--祝大家在2020年都找到自己答案。 《你的答案》- 阿冗 手机党少年们想听歌,请使劲...

小小编辑
今天
10
0
Maven打包可执行Jar包的方法

在使用Java开发中,会使用到将工程打包成可执行的jar包的情况,那么在maven中怎么将项目中的依赖包都添加到jar中呢。在pom.xml中添加一下插件: <build><plugins><plugin><ar...

CapJes
今天
10
0
使用vue 开发地图类系统(openlayers.js)的注意。

使用vue 开发地图类系统的注意。 1、使用地图应该创建的对象 少使用 vue 的data 和计算属性(comments)存数据或是vuex。 为什么要要注意这个问题呢? 答:这个就要了解到vue的实现原理 。原理...

DY-Tao
昨天
7
0
web移动端学习:高德地图demo(一)

在高德地图开发中申请开发者资格,然后在控制台中新建应用,获得KEY; 新建模板HTML文件; <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>地图demo</title><scri......

dxiya
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部