来源团队｜字节跳动直播运营平台 在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大，本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中...

在面对众多的消息队列时，我们往往会陷入选择的困境：“消息队列那么多，该怎么选啊？Kafka 和 RabbitMQ 比较好用，用哪个更好呢？”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中...

继上文在完成了第一阶段 ES 搜索引擎的搭建后，已经能够实现对千万级别的商品索引的读写请求的支持。目前，单机房读流量在 500～1000 QPS 之间，写流量在 500 QPS 左右。 但随着业务的发展，...

近两年随着大模型技术的快速发展，图片、视频、自然语言等多模态、非结构化数据的查找需求变大，非结构化数据的量级也远大于结构化数据，传统数据库已经无法满足如此多样化数据的处理需求。向...

建设并维护一个亿级的搜索引擎并非易事，也不存在一劳永逸的最优治理方法。本文是在实践中不断学习和总结的成果，介绍了如何搭建一个可支持从千万级到亿级商品量级的搜索系统，并实现查询总 ...

作者：火山引擎云原生计算研发工程师｜雷丽媛 上文我们了解了在字节跳动内部业务快速增长的推动下，经典消息队列 Kafka 的劣势开始逐渐暴露，在弹性、规模、成本及运维方面都无法满足业务需求...

在过去的一年里，字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励，也是鞭策...

作者：字节跳动消息队列研发工程师｜姬索肇 随着“万物”互联网化的发展，许多公司内部服务间面对的数据流量也越来越大，在应对大量的数据通信需求时，多数公司都会选择将消息队列作为削峰填...

摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的...

摘要：本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演讲。 随着字节业务的发展，公司内部每天线上约运...

Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读写数据量超过 500 PB。同...

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。 实时数据湖是现代数据架构的核心组...

在 KubeCon CN 2023 的「 Open AI + 数据 | Open AI + Data」专题中，火山引擎软件工程师胡元哲分享了《使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载｜Sailing Ray workloads w...

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会，作为最受 Apache Flink 社区开发者期盼的年度峰会之一，FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态，是...

在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中，由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点，我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解...

随着业务和数据的快速增长，云计算和大数据技术也得到了迅速发展，云原生化和智能化已成为一种趋势。在此背景下，字节跳动进行了一系列大数据架构 Serverless 化的探索与实践，并在 AI 智能化...

在火山引擎相关的业务中绝大部分的机器学习和数据湖的算力都运行在云原生 K8s 平台上。云原生架构下存算分离和弹性伸缩的计算场景，极大的推动了存储加速这个领域的发展，目前业界也衍生出了...

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。本次分享主要介绍幸福里业务基于 Flink & Paimon 构建流式数仓的实践经验，从业务背景、流批...

本文整理自字节跳动 Flink SQL 技术负责人李本超在 CommunityOverCode Asia 2023 上的 Keynote 演讲，李本超根据自己在开源社区的贡献经历，基于他在贡献开源社区过程中的一些小故事和思考，...

排序学习(LTR: Learning to Rank)作为一种机器学习技术，其应用场景非常广泛。例如，在 电商推荐领域，可以帮助电商平台对用户的购买历史、搜索记录、浏览行为等数据进行分析和建模；可以帮助...