加载中
大象在云端起舞:后 Hadoop 时代的字节跳动云原生计算平台

火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访,详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队,以及当下大数据云原生化的趋势。 技术永远是在“更新”或“替换”...

State Migration on Flink SQL

本文整理自字节跳动基础架构周伊莎的演讲内容。Flink SQL 作为实时数仓建设中重要的工具,能够帮助用户快速开发流式任务,支持实时数据处理的场景和需求,本文将分享 SQL 作业迭代中状态的保...

前天 15:35
732
年终学习大礼包|云原生大数据知识地图

2022年,火山引擎云原生计算团队在云原生大数据领域进行了诸多探索与实践。基于此, 云原生计算与 DataFun 联合出品了云原生大数据知识地图,从理念概述、架构介绍、功能详述、场景及价值等方...

火山引擎云原生计算团队荣获信通院“云原生技术创新”项目奖

近日,中国信通院旗下云原生产业联盟主导的首届云原生产业联盟年会正式举办,“火山引擎云原生大数据平台”项目荣获“云原生技术创新”项目奖。火山引擎云原生计算团队资深产品专家博文、王磊...

01/13 15:05
31
火山引擎云原生计算亮相首届云原生产业联盟年会

中国信通院旗下云原生产业联盟主办的首届云原生产业联盟年会上,火山引擎云原生计算团队参与了即将发布的云原生大数据平台标准制定,并将在会上作出对应演讲分享。 历经多年发展,我国云原生...

01/06 16:16
48
喜讯!火山引擎 Flink、Spark 产品通过信通院可信大数据能力评测

1月4日,在第五届“数据资产管理大会”上,中国信息通信研究院(中国信通院)公布了第十五批“可信大数据”产品能力评测结果。火山引擎流式计算 Flink 版和火山引擎批式计算 Spark 版凭借出色...

01/06 16:09
64
见证技术的力量!火山引擎云原生计算入选 InfoQ 年度十大技术团队

近日,以“深入数字经济·洞见技术价值”为主题的“InfoQ 2022 中国技术力量年终榜单”颁奖典礼正式召开,火山引擎云原生计算团队凭借在企业数字化转型过程中体现出的巨大价值,名列十大高价...

01/05 16:33
132
从100w核到450w核:字节跳动超大规模云原生离线训练实践

本文整理自字节跳动基础架构研发工程师单既喜在 ArchSummit 全球架构师峰会上的演讲,主要介绍字节跳动离线训练发展的三个阶段和关键节点,以及云原生离线训练中非常重要的两个部分——计算调...

直播预告|数据湖实时化与智能化实践探索

2022年12月18日 9:00-12:50,由火山引擎云原生计算技术负责人李亚坤出品的 DataFunCon 2022 大会「实时与智能数据湖」专场将围绕数据湖技术的实时化与智能化展开深度分享。论坛全程直播,欢迎...

2022/12/15 12:38
264
字节跳动云原生计算获 OSCHINA “2022 年度优秀开源技术团队”

企业技术团队与开源技术社区是技术多样性发展历程中不可或缺的中坚力量。 2022 年,OSCHINA 综合了平台上各大认证官方技术团队、开源社区帐号年度发表的内容频率及质量、开展各种活动运营积极...

火山引擎云原生大数据在金融行业的实践

大数据架构向云原生演进是行业的重要趋势,火山引擎协助关键金融客户在大数据云原生方向进行了深度实践,形成了整体解决方案,本文将分享火山引擎云原生大数据在金融行业的实践。 作者|张云...

2022/12/01 15:55
1.2K
字节跳动 YARN 云原生化演进实践

本文整理自字节跳动基础架构工程师邵凯阳、林友权在 2022 Hadoop Meetup 上的演讲,文章主要从演进背景、解决方案、上线收益和未来规划四个方面介绍了字节跳动 YARN 云原生化演进实践。 作者...

基于 Zeppelin 的 Flink/Spark 云原生实践

本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。 作者 | 火山引擎云原生 计算研发工...

演讲预告|FFA 议程上线!字节跳动 7 项议题入选

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! 今年,全球 40+ 各行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时风控、实时湖仓、数据集成等多...

2022/11/03 15:18
103
字节跳动流式数仓和实时服务分析的思考与实践

本文整理自火山引擎云原生实时数仓技术专家汪建锋在 DataFun 现代数据栈在线峰会上的演讲,主要介绍字节跳动流式数仓和实时服务分析的思考与实践。 作者|火山引擎云原生实时数仓技术专家-汪...

2022/10/27 15:31
3.3K
Cloud Shuffle Service 在字节跳动 Spark 场景的应用实践

本文整理自字节跳动基础架构的大数据开发工程师魏中佳在 ApacheCon Aisa 2022 「大数据」议题下的演讲,主要介绍 Cloud Shuffle Service(CSS) 在字节跳动 Spark 场景下的设计与实现。 作者...

2022/10/20 22:40
4.2K
免费公测|火山引擎云原生消息引擎公测正式开启!

随着各行业数字化转型建设速度加快,在数据集成和系统整合方面,海量数据针对规模、流转效率、成本节约等方面的需求日益增长,对消息系统的要求也越来越高。 字节跳动内部业务的高速增长,对...

2022/10/12 16:18
113
演讲预告|字节跳动 Hadoop 云原生化演进实践

Hadoop 是 Apache 基金会旗下知名基础架构开源项目。作为国内少见的 Hadoop 开源生态技术峰会,第四届 China Apache Hadoop Meetup 将于 2022年9月24日在上海举办。本届峰会以“云数智聚 砥柱...

2022/09/22 20:06
79
打造通用缓存层:字节跳动 Flink StateBackend 性能提升之路

内容简介:StateBackend 作为 Flink 向上提供 State 能力的基石,其性能会严重影响任务的吞吐。本次分享主要介绍在字节跳动内部通过为 StateBackend 提供通用缓存层,来提高性能的相关优化。...

2022/09/22 18:35
7.6K
Flink OLAP 助力 ByteHTAP 亮相数据库顶会 VLDB

2022 年 9 月 5 日至 9 月 9 日,VLDB 2022 在澳大利亚悉尼举行。 字节跳动基础架构研究成果《 ByteHTAP : ByteDance’s HTAP System with High Data Freshness and Strong Data Consistenc...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部