加载中
5年迭代5次,抖音推荐系统演进历程

2021 年,字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下,强大的推荐系统显得尤为重要。Flink 提供了非常强大的 SQL 模块和有状态计算模块。...

2022/07/28 18:20
1.4W
演讲汇总 | 字节跳动云原生大数据的探索与实践

全球数字经济进入高速发展期,已经成为推进经济发展的新增长极。云原生技术作为下一代云计算的技术内核,在加快推进各产业数字化转型中发挥着重要作用,云原生大数据技术产品也逐步迭代升级,...

字节跳动 Flink 状态查询实践与优化

背景 众所周知,Flink 中的 State 保存了算子计算过程的中间结果。当任务出现异常时,可以通过查询任务快照中的 State 获取有效线索。 但目前对于 Flink SQL 任务来说,当我们想要查询作业 ...

2022/07/28 11:36
2.4K
字节跳动10万节点 HDFS 集群多机房架构演进之路

背景 现状 HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS ...

2022/07/28 11:18
9.2K
招聘|字节跳动云原生计算,期待你的加入

团队介绍 字节跳动云原生计算团队支持字节今日头条、抖音、西瓜视频、幸福里、飞书等各条业务线,为离线 ETL & 机器学习、AML、推荐、数仓、搜索、广告、流媒体、安全和风控等核心业务场景和...

2022/07/27 18:29
396
字节跳动 Flink 单点恢复功能及 Regional CheckPoint 优化实践

单点恢复机制 在字节跳动的实时推荐场景中,我们使用 Flink 将用户特征与用户行为进行实时拼接,拼接样本作为实时模型的输入。拼接服务的时延和稳定性直接影响了线上产品对用户的推荐效果,而...

2022/07/27 17:57
696
字节跳动基于 Iceberg 的海量特征存储实践

背景 字节跳动特征存储痛点 当前行业内的特征存储整体流程主要分为以下四步: 特征存储的整体流程 业务在线进行特征模块抽取; 抽取后的特征以行的格式存储在 HDFS,考虑到成本,此时不存储原...

2022/07/27 17:38
6.7K
字节跳动使用 Flink State 的经验分享

前言 Flink 作业需要借助 State 来完成聚合、Join 等有状态的计算任务,而 State 也一直都是作业调优的一个重点。目前 State 和 Checkpoint 已经在字节跳动内部被广泛使用,业务层面上 Stat...

2022/07/26 20:04
2.2K
字节跳动的 Flink OLAP 作业调度和查询执行优化实践

一、背景 字节跳动内部有很多混合计算的需求,需要一套既支持 TP 计算,也支持 AP 计算的系统。下图是字节跳动 HTAP 系统的总体架构。系统使用内部自研的数据库作为 TP 计算引擎,使用 Flin...

亿级用户背后的字节跳动云原生计算最佳实践

互联网时代数据出现爆发式增长,数字化、实时化的趋势也明显加快。基于数据驱动的业务场景不断涌现,无一不在加速着大数据的繁荣发展。而随着云原生概念的兴起,大数据技术产品逐步迭代升级,...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部