ApacheCon - 云原生大数据上的 Apache 项目实践

Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿...

使用火山云搜索服务构建图文检索应用(以文搜图/以图搜图)

图文检索在生活中具有广泛的应用,常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海量的图片库中快速找到同款或者相似图片,这种搜索方式被...

演讲预告|云原生大数据系列实践分享

随着行业的快速发展和业务的高速迭代,数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。云原生大数据方案,逐...

字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化

深度学习的模型规模越来越庞大,其训练数据量级也成倍增长,这对海量训练数据的存储方案也提出了更高的要求:怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈,怎样更高效地支持...

5分钟,结合 LangChain 搭建自己的生成式智能问答系统

伴随大语言模型(LLM,Large Language Model)的涌现,人们发现生成式人工智能在非常多领域具有重要意义,如图像生成,书写文稿,信息搜索等。随着 LLM 场景的多样化,大家希望 LLM 能在垂直...

火山引擎云搜索服务升级云原生新架构;提供数十亿级分布式向量数据库能力

从互联网发展伊始,搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展,数据呈爆炸式增长,搜索技术通过数据收集与处理,满足信息共享与快速检索的需求。 云搜索服务 ESCloud ...

如何在大背景下降本增效,构建超大规模存储架构?

在日新月异的大数据服务不断涌现的今天,我们可以看到作为数据基础底座的存储服务面临了越来越多的复杂环境和需求的挑战。无论是离线大数据存储,还是在线 KV 类存储,都服务了越来越多的数据...

字节跳动云原生大数据平台运维管理实践

云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说缺少...

火山引擎 Iceberg 数据湖的应用与实践

在云原生计算时代,云存储使得海量数据能以低成本进行存储,但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式,可以很好地应对这些挑战。本文将...

2023/06/20 14:57
406
基于 Ray 的大规模离线推理

本文整理自字节跳动基础架构资深研发工程师王万兴在火山引擎开发者社区 Meetup 中的分享。大模型离线推理,是指在具有数十亿或数千亿参数的大规模模型上进行分布式推理的过程。相较于常规模型...

云原生大数据 Meetup|云原生时代下的数据计算基础设施

随着云原生基础设施的普及,大数据系统如何丝滑地云原生化已经成为不可逆的趋势。6 月 10 日,火山引擎云原生计算和稀土掘金开发者社区将在上海举行一场技术 Meetup,邀请四位来自字节跳动大...

2023/05/31 19:55
182
基于 LoserTree 的 Paimon 多路归并优化

摘要: 在多路归并的排序中,比较次数对整体排序的耗时影响很大。本文主要介绍在 Paimon SortMergeReader 的多路归并实现中,利用 LoserTree 替换堆排序算法,减少多路归并比较次数的设计思路...

2023/05/24 14:16
1.1K
喜讯!字节跳动基础架构计算团队两篇论文入选数据库顶会 VLDB

2023 年 8 月 28 日至 9 月 1 日,VLDB 2023 将在加拿大温哥华举行。字节跳动基础架构-实时引擎、流式计算团队研究成果分别被 VLDB 2023 接收,并受邀进行现场报告。 VLDB 会议全称 Internat...

2023/05/18 14:52
568
揭秘云原生时代下的新一代数据计算基础设施

如今,伴随着数字化转型脚步的加快,企业需要具备更加先进的数据处理能力才能满足业务需求,而云原生大数据作为大数据平台新一代架构和运行形态,正逐渐成为企业数字化转型的必备工具。那么,...

2023/05/12 11:28
206
火山引擎发布流式计算 Flink 产品,助力构建大数据实时计算平台

大数据是企业数字化转型中,支撑企业经营和业绩增长的主要手段之一。而实时化、云原生化已经成为大数据技术发展的必然趋势。 4月18日,火山引擎春季 FORCE 原动力大会在上海举办。在会上,火...

Flink OLAP 在字节跳动的查询优化和落地实践

本文整理自字节跳动基础架构工程师何润康在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 是数据仓库系统的重要应用,支持复杂的分析型查询,广泛应用于数据分析、商业决策等场景...

2023/04/12 15:23
3K
Flink CEP 在抖音电商的实践

本文整理自抖音电商实时数仓研发工程师张健,在 Flink Forward Asia 实时风控专场的分享。本篇内容主要从 Flink CEP 简介、业务场景与挑战、解决方案实践和未来展望四个方面展开介绍。 一、F...

字节跳动 Flink 大规模云原生化实践

本文整理自字节跳动基础架构工程师刘畅,在 Flink Forward Asia 生产实践专场的分享。字节跳动拥有业界领先的 Flink 流式计算任务规模。随着云原生时代的到来,我们开始探索将线上的 Flink ...

2023/03/31 13:01
5.7K
Flink OLAP 在资源管理和运行时的优化

本文整理自字节跳动基础架构工程师曹帝胄在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 作业 QPS 和资源隔离是 Flink OLAP 计算面临的最大难题,也是字节跳动内部业务使用 Fl...

2023/03/16 11:34
1.8K
火山引擎流式计算 Flink 助力中免日上零售行业营销新范式

中免日上互联科技有限公司是中国免税品集团(简称:中免集团)携手日上免税行打造的顶级品牌跨境零售平台,平台以商品和服务为抓手、以技术创新为依托,通过线上与线下相聚合,带动实体经济数...

没有更多内容

加载失败,请刷新页面