加载中
openEuler 高校开发者大赛报名启动!广阔天地,码出不凡

如果让你选择 在日常编程学习中,你更希望获得哪些支持呢? A. 得到顶级开发大神的倾心指导 B. 与实力相当的小伙伴协作拼搏 C. 丰厚现金 以资鼓励 D. 以上都要 不要犹豫,请大胆选 D 2020 o...

Flink 双流 Join 的3种操作示例

在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来...

快手基于 Apache Flink 的优化实践

本次由快手刘建刚老师分享,内容主要分为三部分。首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover...

深入解析 Flink 的算子链机制

“为什么我的 Flink 作业 Web UI 中只显示出了一个框,并且 Records Sent 和Records Received 指标都是 0 ?是我的程序写得有问题吗?” Flink 算子链简介 笔者在 Flink 社区群里经常能看到类...

Flink + 强化学习搭建实时推荐系统

如今的推荐系统,对于实时性的要求越来越高,实时推荐的流程大致可以概括为:推荐系统对于用户的请求产生推荐,用户对推荐结果作出反馈 (购买/点击/离开等等),推荐系统再根据用户反馈作出新...

重磅发布!Flink Forward Asia 2020 在线峰会预约开启!

当这个时代到来的时候,锐不可当。万物肆意生长,尘埃与曙光升腾,江河汇聚成川,无名山丘崛起为峰,天地一时无比开阔。 ——吴晓波《激荡三十年》 从结绳记事到量子计算, 从飞鸽传书到万物...

基于 Flink SQL CDC 的实时数据同步方案

整理:陈政羽(Flink 社区志愿者) Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统...

Flink 1.11 与 Hive 批流一体数仓实践

导读:Flink 从 1.9.0 开始提供与 Hive 集成的功能,随着几个版本的迭代,在最新的 Flink 1.11 中,与 Hive 集成的功能进一步深化,并且开始尝试将流计算场景与Hive 进行整合。 本文主要分享...

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

简介:本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景 Flink + Kafka 平台化设计 Kafka 在实时数仓中的应用...

Flink State 误用之痛,你中招了吗?

本文主要讨论一个问题:ValueState 中存 Map 与 MapState 有什么区别? 如果不懂这两者的区别,而且使用 ValueState 中存大对象,生产环境很可能会出现以下问题: CPU 被打满 吞吐上不去 1、...

10/28 21:40
133
当 TiDB 与 Flink 相结合:高效、易用的实时数仓

随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。以维表 Join...

网易:Flink + Iceberg 数据湖探索与实践

导读:今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。 主要内容包括: 数据仓库平台建设...

如何生成 Flink 作业的交互式火焰图?

前言 Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用,通过内部的 Java JIT、o...

10/20 21:29
42
Flink SQL 1.11 on Zeppelin 平台化实践

大数据领域 SQL 化开发的风潮方兴未艾(所谓"Everybody knows SQL"),Flink 自然也不能“免俗”。Flink SQL 是 Flink 系统内部最高级别的 API,也是流批一体思想的集大成者。用户可以通过简...

10/15 22:49
204
从 Storm 迁移到 Flink,美团外卖实时数仓建设实践

本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。 在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通...

数据湖有新解!Apache Hudi 与 Apache Flink 集成

Apache Hudi 是由 Uber 开发并开源的数据湖框架,它于 2019 年 1 月进入 Apache 孵化器孵化,次年 5 月份顺利毕业晋升为 Apache 顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 ...

基于 Flink + ClickHouse 打造轻量级点击流实时数仓

Flink 和 ClickHouse 分别是实时计算和(近实时)OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘...

Flink JDBC Connector:Flink 与数据库集成最佳实践

整理:陈政羽(Flink 社区志愿者) 摘要:Flink 1.11 引入了 CDC,在此基础上, JDBC Connector 也发生比较大的变化,本文由 Apache Flink Contributor,阿里巴巴高级开发工程师徐榜江(雪尽...

回顾 | Apache Flink Meetup · 深圳站精彩回顾(附PPT下载)

<关注公众号,回复“0926深圳”即可获取 直播回看链接及活动 PPT 合集> 9月26日,Apache Flink Meetup · 深圳站圆满落幕。新朋友和老朋友齐聚一趟,聊聊 Flink 社区的最新进展与企业级应用。...

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink ...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部