在过去的一年里，字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励，也是鞭策...

作者：字节跳动消息队列研发工程师｜姬索肇 随着“万物”互联网化的发展，许多公司内部服务间面对的数据流量也越来越大，在应对大量的数据通信需求时，多数公司都会选择将消息队列作为削峰填...

摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的...

摘要：本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演讲。 随着字节业务的发展，公司内部每天线上约运...

Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读写数据量超过 500 PB。同...

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。 实时数据湖是现代数据架构的核心组...

在 KubeCon CN 2023 的「 Open AI + 数据 | Open AI + Data」专题中，火山引擎软件工程师胡元哲分享了《使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载｜Sailing Ray workloads w...

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会，作为最受 Apache Flink 社区开发者期盼的年度峰会之一，FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态，是...

在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中，由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点，我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解...

随着业务和数据的快速增长，云计算和大数据技术也得到了迅速发展，云原生化和智能化已成为一种趋势。在此背景下，字节跳动进行了一系列大数据架构 Serverless 化的探索与实践，并在 AI 智能化...

在火山引擎相关的业务中绝大部分的机器学习和数据湖的算力都运行在云原生 K8s 平台上。云原生架构下存算分离和弹性伸缩的计算场景，极大的推动了存储加速这个领域的发展，目前业界也衍生出了...

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。本次分享主要介绍幸福里业务基于 Flink & Paimon 构建流式数仓的实践经验，从业务背景、流批...

本文整理自字节跳动 Flink SQL 技术负责人李本超在 CommunityOverCode Asia 2023 上的 Keynote 演讲，李本超根据自己在开源社区的贡献经历，基于他在贡献开源社区过程中的一些小故事和思考，...

排序学习(LTR: Learning to Rank)作为一种机器学习技术，其应用场景非常广泛。例如，在 电商推荐领域，可以帮助电商平台对用户的购买历史、搜索记录、浏览行为等数据进行分析和建模；可以帮助...

“ Krypton 源于 DC 宇宙中的氪星，它是超人的故乡，以氪元素命名 ”。 引言 近些年， 在复杂的分析需求之外，字节内部的业务对于实时数据的在线服务能力也提出了更高的要求。大部分业务不得...

2023 年 10 月 30 日至 11 月 1 日，SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收，并受邀进行现场报告。 SoCC 会议全称 Annual ACM...

本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management ...

本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀成为 ...

Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办，大会含 17 个论坛方向、上百个前沿...

图文检索在生活中具有广泛的应用，常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海量的图片库中快速找到同款或者相似图片，这种搜索方式被...