个人空间 - OSCHINA - 中文开源技术交流社区

在Alluxio近期举办的线上技术讲座中，Coupang资深后端工程师Hyun Jun Baek 分享了Coupang如何利用分布式缓存加速机器学习模型训练。本文提炼了Hyun分享的核心观点，重点介绍了Coupang的分布式...

分布式缓存 GPU架构数据拷贝 I/O性能存储成本 Kubernetes

Alluxio

05/27 11:38

1.3K

0

在数字化时代，电商已成为全球商业最具活力的领域之一。Alluxio作为数据管理与存储领域的先锋，为电商行业的快速发展提供了重要支持，尤其在全球跨境电商的崛起中，成为企业高效运营和创新的...

电商跨境电商 Alluxio 数据管理分布式缓存 AI模型训练

Alluxio

03/26 13:47

145

0

近日，Alluxio 宣布与芝加哥大学 LMCache 实验室开发的 vLLM Production Stack 项目达成战略合作。作为大语言模型（LLM）推理领域的开源项目，vLLM Production Stack 旨在为 LLM 推理提供高效...

LLM推理 AI基础设施集成化KV缓存三大核心优势深度科研优化参考架构

Alluxio

03/26 11:18

224

0

分享嘉宾桂静，就读于中国传媒大学计算机与网络空间安全学院，媒体融合与传播国家重点实验室，导师为王永滨教授。已发表论文三篇。其中 SCI 论文1篇。参与多项国家级以及省部级子课题项目。...

alluxio hdfs blob 媒体服务哈希算法存储系统 cache 文件系统数据存储大数据

Alluxio

01/23 17:27

173

0

作者：Wayne Gao, Yi Wang, Jie Chen, Sarika Mehta Alluxio 作为全球领先的 AI 缓存解决方案供应商，提供针对 GPU 驱动 AI 负载的高速缓存。其可扩展架构支持数万个节点，能显著降低存储带...

alluxio fuse 数据存储文件系统缓存解决方案 rocksdb worker tlc 缓存系统 client

Alluxio

01/21 15:16

351

0

分享嘉宾陈得泳 - 中国联通大数据平台 SRE 工程师，致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。观看完整分享回放业务背景统一底座和安全基座位于不同IDC；统一底座：...

hdfs alluxio 大数据 yarn 监控工具带宽监控管理工具 hadoop 开源 hive kerberoshdfs

Alluxio

01/16 11:14

252

0

分享嘉宾任何强企查查科技股份有限公司大数据架构负责人关于企查查 “企查查”是企查查科技股份有限公司旗下的一款企业信用查询工具。2023年5月20日，企查查正式发布全球首款商查大模型—...

计算引擎 hadoop hive alluxio juicefs kyuubi hdfs trino schema core iceberg 大数据 mysql flink

Alluxio

01/09 11:22

155

0

嘉宾简介李亚斌小红书大数据技术专家负责小红书多云统一数据加速层的建设关于小红书小红书是年轻人的生活记录、分享平台，用户可以通过短视频、图文等形式记录生活点滴，分享生活方式。...

alluxio worker 机器学习数据存储 hdfs 数据查询 tensorflow 大数据性能优化 epoch

Alluxio

2024/12/20 17:34

238

0

挑战随着 AI 技术的不断进步，模型训练所需的数据量呈爆炸式增长，模型复杂度也大幅提升，从早期简单的机器学习模型到如今的大规模深度学习模型。AI 平台在数据访问上面临的主要痛点包括：底...

Alluxio

2024/12/03 18:00

112

0

分享嘉宾孙颢宁 Shopee Data Infra 分布式存储开发工程师分享大纲 AI 平台面临的挑战 Alluxio 加速AI 训练的实践 Alluxio 的性能探索 Alluxio 的大版本滚动升级未来规划观看完整分享 AI...

alluxio fuse worker netty hdfs memory tcmalloc glibc 数据处理 buffer truncate client dataset

Alluxio

2024/11/22 15:28

284

0

我们很高兴地宣布 Alluxio 面向数据分析的Enteprise Data 3.2 企业版正式发布！随着数据量持续呈指数级增长，数据平台团队在维持查询性能、管理基础设施成本和确保可扩展性方面面临巨大的挑...

Alluxio

2024/11/14 13:54

96

0

近日，业界领先的数据平台提供商 Alluxio 宣布，推出全球首创的高性能分布式缓存一体机 X-Cache A1（以下简称：X-Cache A1），并在刚刚结束的“2024中国数据与存储峰会”上，凭借其创新的设计...

Alluxio

2024/11/08 16:30

111

0

嘉宾介绍张松昕，南方科技大学统计与数据科学系研究学者，UCloud 顾问资深算法专家，曾任粤港澳大湾区数字经济研究院访问学者，主导大模型高效分布式训练框架的开发，设计了 SUS-Chat-34B 的...

数据处理大数据 youtube 分布式系统 pipeline 并行文件系统开源 alluxio sora llama

Alluxio

2024/10/11 18:12

311

0

在当前的技术环境下，搜索、推荐、广告、大模型、自动驾驶等领域的业务依赖于海量数据的处理和复杂模型的训练。这些任务通常涉及从用户行为数据和社交网络数据中提取大量信息，进行模型训练和...

alluxio 推荐系统自动驾驶搜索引擎 alluxioenterpriseai 计算机视觉 bert 数据处理

Alluxio

2024/09/24 17:32

359

0

👉 Alluxio Enterprise AI on K8s 部署教程 👈 链接为Alluxio Enterprise AI on K8s 部署视频教程。下面内容将通过文字方式主要介绍如何通过 Operator（Kubernetes 管理应用程序的扩展）...

alluxio operator yaml fuse etcd docker kubernetes spec worker registry grafana storage bitnami

Alluxio

2024/09/23 10:27

695

0

👉 Alluxio Enterprise AI on K8s测试教程 👈 链接为Alluxio Enterprise AI on K8s FIO测试视频教程。 fio 是业内常用的磁盘与文件系统性能测试工具，下面内容将通过文字方式介绍Allux...

alluxio node fio fuse yaml worker etcd 文件系统文件系统性能测试工具 image 虚拟机

Alluxio

2024/09/23 10:24

391

0

混合云架构，带来便捷与挑战知乎目前是典型的混合云架构，数据和服务都分布在不同的机房：离线机房：专为满足大数据相关业务方需求而设计的离线计算服务中心。其主要职能是部署离线调度、...

alluxio fuse hdfs worker 大语言模型 operator 文件系统 grpc 数据处理其他 unionstore

Alluxio

2024/09/20 16:38

1K

0

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

开源项目作者

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈