2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下，强大的推荐系统显得尤为重要。Flink 提供了非常强大的 SQL 模块和有状态计算模块。...

背景 HDFS 简介 HDFS 全名 Hadoop Distributed File System，是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项： 和本地文件系统一样的...

背景 字节跳动特征存储痛点 当前行业内的特征存储整体流程主要分为以下四步： 特征存储的整体流程 业务在线进行特征模块抽取； 抽取后的特征以行的格式存储在 HDFS，考虑到成本，此时不存储原...

本文整理自字节跳动基础架构工程师刘畅，在 Flink Forward Asia 生产实践专场的分享。字节跳动拥有业界领先的 Flink 流式计算任务规模。随着云原生时代的到来，我们开始探索将线上的 Flink ...

本文整理自字节跳动基础架构研发工程师单既喜在 ArchSummit 全球架构师峰会上的演讲，主要介绍字节跳动离线训练发展的三个阶段和关键节点，以及云原生离线训练中非常重要的两个部分——计算调...

背景 字节跳动旗下拥有今日头条、抖音等多款产品，每天服务着数亿用户，由此产生的数据量和计算量也是很大的： EB 级别海量的存储空间 每天平均 70PB 数据的增量 每秒钟百万次数的实时推荐请...

在面对众多的消息队列时，我们往往会陷入选择的困境：“消息队列那么多，该怎么选啊？Kafka 和 RabbitMQ 比较好用，用哪个更好呢？”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中...

本文整理自字节跳动基础架构的大数据开发工程师魏中佳在 ApacheCon Aisa 2022 「大数据」议题下的演讲，主要介绍 Cloud Shuffle Service（CSS） 在字节跳动 Spark 场景下的设计与实现。 作者...

本文整理自字节跳动基础架构工程师何润康在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 是数据仓库系统的重要应用，支持复杂的分析型查询，广泛应用于数据分析、商业决策等场景...

背景 众所周知，Flink 中的 State 保存了算子计算过程的中间结果。当任务出现异常时，可以通过查询任务快照中的 State 获取有效线索。 但目前对于 Flink SQL 任务来说，当我们想要查询作业 ...

一、背景 字节跳动内部有很多混合计算的需求，需要一套既支持 TP 计算，也支持 AP 计算的系统。下图是字节跳动 HTAP 系统的总体架构。系统使用内部自研的数据库作为 TP 计算引擎，使用 Flin...

2022 年 9 月 5 日至 9 月 9 日，VLDB 2022 在澳大利亚悉尼举行。 字节跳动基础架构研究成果《 ByteHTAP : ByteDance’s HTAP System with High Data Freshness and Strong Data Consistenc...

前言 Flink 作业需要借助 State 来完成聚合、Join 等有状态的计算任务，而 State 也一直都是作业调优的一个重点。目前 State 和 Checkpoint 已经在字节跳动内部被广泛使用，业务层面上 Stat...

本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。 作者 | 火山引擎云原生 计算研发工...

内容简介：StateBackend 作为 Flink 向上提供 State 能力的基石，其性能会严重影响任务的吞吐。本次分享主要介绍在字节跳动内部通过为 StateBackend 提供通用缓存层，来提高性能的相关优化。...

本文整理自字节跳动基础架构工程师曹帝胄在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 作业 QPS 和资源隔离是 Flink OLAP 计算面临的最大难题，也是字节跳动内部业务使用 Fl...

背景 现状 HDFS 全称是 Hadoop Distributed File System，其本身是 Apache Hadoop 项目的一个模块，作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来，HDFS ...

本文整理自字节跳动基础架构周伊莎的演讲内容。Flink SQL 作为实时数仓建设中重要的工具，能够帮助用户快速开发流式任务，支持实时数据处理的场景和需求，本文将分享 SQL 作业迭代中状态的保...

今天，字节跳动宣布，正式开源 Cloud Shuffle Service。 Cloud Shuffle Service（以下简称CSS） 是字节自研的通用 Remote Shuffle Service 框架，支持 Spark/FlinkBatch/MapReduce 等计算引擎...

互联网时代数据出现爆发式增长，数字化、实时化的趋势也明显加快。基于数据驱动的业务场景不断涌现，无一不在加速着大数据的繁荣发展。而随着云原生概念的兴起，大数据技术产品逐步迭代升级，...