火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访，详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队，以及当下大数据云原生化的趋势。 技术永远是在“更新”或“替换”...

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会，作为最受 Apache Flink 社区开发者期盼的年度峰会之一，FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态，是...

在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中，由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点，我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解...

随着业务和数据的快速增长，云计算和大数据技术也得到了迅速发展，云原生化和智能化已成为一种趋势。在此背景下，字节跳动进行了一系列大数据架构 Serverless 化的探索与实践，并在 AI 智能化...

在火山引擎相关的业务中绝大部分的机器学习和数据湖的算力都运行在云原生 K8s 平台上。云原生架构下存算分离和弹性伸缩的计算场景，极大的推动了存储加速这个领域的发展，目前业界也衍生出了...

幸福里业务是一种典型的交易、事务类型的业务场景，这种业务场景在实时数仓建模中遇到了诸多挑战。本次分享主要介绍幸福里业务基于 Flink & Paimon 构建流式数仓的实践经验，从业务背景、流批...

本文整理自字节跳动 Flink SQL 技术负责人李本超在 CommunityOverCode Asia 2023 上的 Keynote 演讲，李本超根据自己在开源社区的贡献经历，基于他在贡献开源社区过程中的一些小故事和思考，...

排序学习(LTR: Learning to Rank)作为一种机器学习技术，其应用场景非常广泛。例如，在 电商推荐领域，可以帮助电商平台对用户的购买历史、搜索记录、浏览行为等数据进行分析和建模；可以帮助...

“ Krypton 源于 DC 宇宙中的氪星，它是超人的故乡，以氪元素命名 ”。 引言 近些年， 在复杂的分析需求之外，字节内部的业务对于实时数据的在线服务能力也提出了更高的要求。大部分业务不得...

2023 年 10 月 30 日至 11 月 1 日，SoCC 2023 将在美国加州 Santa Cruz 举行。字节跳动基础架构-编排调度团队的研究成果被 SoCC 2023 接收，并受邀进行现场报告。 SoCC 会议全称 Annual ACM...

本文解读了新加坡国立大学马天白教授团队、字节跳动基础架构-计算-流式计算团队联合发表在国际数据库与数据管理顶级会议 VLDB 2023 上的论文“StreamOps: Cloud-Native Runtime Management ...

本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀成为 ...

Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办，大会含 17 个论坛方向、上百个前沿...

图文检索在生活中具有广泛的应用，常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海量的图片库中快速找到同款或者相似图片，这种搜索方式被...

随着行业的快速发展和业务的高速迭代，数据量也呈爆炸式增长，传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足，已经越来越无法适应当下的发展需求。云原生大数据方案，逐...

深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案也提出了更高的要求：怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈，怎样更高效地支持...

伴随大语言模型（LLM，Large Language Model）的涌现，人们发现生成式人工智能在非常多领域具有重要意义，如图像生成，书写文稿，信息搜索等。随着 LLM 场景的多样化，大家希望 LLM 能在垂直...

从互联网发展伊始，搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展，数据呈爆炸式增长，搜索技术通过数据收集与处理，满足信息共享与快速检索的需求。 云搜索服务 ESCloud ...

在日新月异的大数据服务不断涌现的今天，我们可以看到作为数据基础底座的存储服务面临了越来越多的复杂环境和需求的挑战。无论是离线大数据存储，还是在线 KV 类存储，都服务了越来越多的数据...

云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长，传统大数据运维平台的劣势开始逐渐暴露，如组件繁多，安装运维复杂，与底层环境过度耦合；对业务方来说缺少...