加载中
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台

火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访,详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队,以及当下大数据云原生化的趋势。 技术永远是在“更新”或“替换”...

一起来探讨大模型时代下的 VectorDB 吧!

在大模型席卷全球的行业背景下,基于检索结果增强的文本生成(RAG)备受关注。而作为 RAG 关键技术的向量数据库(VectorDB)正处在发展的十字路口。 为了探讨 VectorDB 的发展趋势、应用场景、上...

Elasticsearch 原理与在直播运营平台的实践

来源团队|字节跳动直播运营平台 在持续建设基于 ES 的跨域数据聚合服务中发现 ES 的很多特性跟 MySQL 等常用数据库差别较大,本文会分享 ES 的实现原理、在直播平台中的业务选型建议及实践中...

消息队列选型之 Kafka vs RabbitMQ

在面对众多的消息队列时,我们往往会陷入选择的困境:“消息队列那么多,该怎么选啊?Kafka 和 RabbitMQ 比较好用,用哪个更好呢?”想必大家也曾有过类似的疑问。对此本文将在接下来的内容中...

电商场景下 ES 搜索引擎的稳定性治理实践

继上文在完成了第一阶段 ES 搜索引擎的搭建后,已经能够实现对千万级别的商品索引的读写请求的支持。目前,单机房读流量在 500~1000 QPS 之间,写流量在 500 QPS 左右。 但随着业务的发展,...

加速大模型落地:火山引擎向量数据库的实践应用

近两年随着大模型技术的快速发展,图片、视频、自然语言等多模态、非结构化数据的查找需求变大,非结构化数据的量级也远大于结构化数据,传统数据库已经无法满足如此多样化数据的处理需求。向...

从 0 到 1 搭建亿级商品 ES 搜索引擎

建设并维护一个亿级的搜索引擎并非易事,也不存在一劳永逸的最优治理方法。本文是在实践中不断学习和总结的成果,介绍了如何搭建一个可支持从千万级到亿级商品量级的搜索系统,并实现查询总 ...

字节跳动新一代云原生消息队列实践

作者:火山引擎云原生计算研发工程师|雷丽媛 上文我们了解了在字节跳动内部业务快速增长的推动下,经典消息队列 Kafka 的劣势开始逐渐暴露,在弹性、规模、成本及运维方面都无法满足业务需求...

探索技术的无限可能-云原生计算2023年度奖项

在过去的一年里,字节跳动云原生计算团队获得了「 DataFun 年度数据智能先锋奖」、「 开源中国-优秀开源技术团队」和「 火山引擎开发者社区-年度优质内容」奖项。这些奖项既是鼓励,也是鞭策...

一文了解字节跳动消息队列演进之路

作者:字节跳动消息队列研发工程师|姬索肇 随着“万物”互联网化的发展,许多公司内部服务间面对的数据流量也越来越大,在应对大量的数据通信需求时,多数公司都会选择将消息队列作为削峰填...

字节跳动 Spark 支持万卡模型推理实践

摘要:本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型推理实践》主题演讲。 在云原生化的...

01/04 19:29
32
字节跳动 MapReduce - Spark 平滑迁移实践

摘要:本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演讲。 随着字节业务的发展,公司内部每天线上约运...

2023/12/28 15:57
107
字节跳动 Spark Shuffle 大规模云原生化演进实践

Spark 是字节跳动内部使用广泛的计算引擎,已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万,每天的 Shuffle 读写数据量超过 500 PB。同...

基于 Flink 构建实时数据湖的实践

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。 实时数据湖是现代数据架构的核心组...

2023/12/18 11:19
79
使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载

在 KubeCon CN 2023 的「 Open AI + 数据 | Open AI + Data」专题中,火山引擎软件工程师胡元哲分享了《使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载|Sailing Ray workloads w...

2023/12/08 14:29
40
FFA 2023|字节跳动 7 项议题入选

Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,作为最受 Apache Flink 社区开发者期盼的年度峰会之一,FFA 2023 将持续集结行业最佳实践以及 Flink 最新技术动态,是...

2023/11/28 16:51
16
Flink 替换 Logstash 解决日志收集丢失问题

在某客户日志数据迁移到火山引擎使用 ELK 生态的案例中,由于客户反馈之前 Logstash 经常发生数据丢失和收集性能较差的使用痛点,我们尝试使用 Flink 替代了传统的 Logstash 来作为日志数据解...

如何 Get 字节跳动同款云原生大数据平台

随着业务和数据的快速增长,云计算和大数据技术也得到了迅速发展,云原生化和智能化已成为一种趋势。在此背景下,字节跳动进行了一系列大数据架构 Serverless 化的探索与实践,并在 AI 智能化...

2023/11/08 16:30
31
火山引擎云原生存储加速实践

在火山引擎相关的业务中绝大部分的机器学习和数据湖的算力都运行在云原生 K8s 平台上。云原生架构下存算分离和弹性伸缩的计算场景,极大的推动了存储加速这个领域的发展,目前业界也衍生出了...

2023/11/06 14:18
21
幸福里基于 Flink & Paimon 的流式数仓实践

幸福里业务是一种典型的交易、事务类型的业务场景,这种业务场景在实时数仓建模中遇到了诸多挑战。本次分享主要介绍幸福里业务基于 Flink & Paimon 构建流式数仓的实践经验,从业务背景、流批...

2023/10/25 17:01
100

没有更多内容

加载失败,请刷新页面

返回顶部
顶部