
DeepSpeed 团队推出了 DeepSpeed-Chat,这是一个免费的开源解决方案和框架,专为使用 RLHF 训练高质量 ChatGPT 风格模型而设计。它简单(一键操作)、快速且成本极低,适用于各种客户,包括学校科研、初创公司和大规模云训练。相较于 SoTA,它的速度提升了15倍,可以在单个 GPU 上训练 10B+ 的模型大小,以及在多 GPU 系统上训练 100B+ 的模型大小。
作为一款基于 PyTorch 的稳定且高效的大规模深度学习加速系统,DeepSpeed 是业界最早和最优秀的深度学习开源框架之一。近期,许多知名的中小型 ChatGPT 风格的模型发布的后台加速平台都采用了 DeepSpeed,包括Databricks-Dolly、Huggingface-PEFT、LMFlow 等。
更多精彩内容,DeepSpeed 团队授权开源社首发于中文社区,将于北京时间 4 月 13 日早 9 点重磅发布,敬请期待!

本文分享自微信公众号 - 开源社KAIYUANSHE(kaiyuanshe)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。