字节跳动云原生计算的个人空间 - OSCHINA

字节跳动云原生计算

构建新一代海量数据计算平台

认证官方账号

2.8K

经验值

2.8K

开源豆

关注私信

分布式训练调度框架

3

连击天

fork: star:

加载中

摘要：本文整理自字节跳动基础架构工程师魏中佳在本次 CommunityOverCode Asia 2023 中的《字节跳动 MapReduce - Spark 平滑迁移实践》主题演讲。随着字节业务的发展，公司内部每天线上约运...

spark mapreduce hadoop reduce executor yarn core 其他 others framework netty 文件系统 class

云原生计算

2023/12/28 15:57

187

0

Spark 是字节跳动内部使用广泛的计算引擎，已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万，每天的 Shuffle 读写数据量超过 500 PB。同...

application executor worker mapper 云原生 spark shuffle 大数据 fetch metrics kubernetes 开源

云原生计算

2023/12/21 15:23

87

0

本文整理自火山引擎云原生计算研发工程师王正和闵中元在本次 CommunityOverCode Asia 2023 数据湖专场中的《基于 Flink 构建实时数据湖的实践》主题演讲。实时数据湖是现代数据架构的核心组...

schema iceberg flink class plan jm metadata update delete parquet java jdbc find dictionary

云原生计算

2023/12/18 11:19

123

0

在 KubeCon CN 2023 的「 Open AI + 数据 | Open AI + Data」专题中，火山引擎软件工程师胡元哲分享了《使用 KubeRay 和 Kueue 在 Kubernetes 中托管 Ray 工作负载｜Sailing Ray workloads w...

ray worker actor serve operator data openai blog kubernetes pipeline controller 开源开源社区

云原生计算

2023/12/08 14:29

317

0

没有更多内容

加载失败，请刷新页面

没有更多内容

文章删除后无法恢复，确定删除此文章吗？

取消

确定

动弹删除后，数据将无法恢复

取消

确定

评论删除后，数据将无法恢复

取消

确定

字节跳动云原生计算

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

字节跳动云原生计算

开源项目作者

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈