当AI 遇上开源,开启全民超能 | 微软DeepSpeed-Chat

04/12 21:00
阅读数 190


DeepSpeed 团队推出了 DeepSpeed-Chat,这是一个免费的开源解决方案和框架,专为使用 RLHF 训练高质量 ChatGPT 风格模型而设计。它简单(一键操作)、快速且成本极低,适用于各种客户,包括学校科研、初创公司和大规模云训练。相较于 SoTA,它的速度提升了15倍,可以在单个 GPU 上训练 10B+ 的模型大小,以及在多 GPU 系统上训练 100B+ 的模型大小。


作为一款基于 PyTorch 的稳定且高效的大规模深度学习加速系统,DeepSpeed 是业界最早和最优秀的深度学习开源框架之一。近期,许多知名的中小型 ChatGPT 风格的模型发布的后台加速平台都采用了 DeepSpeed,包括Databricks-Dolly、Huggingface-PEFT、LMFlow 等。


更多精彩内容,DeepSpeed 团队权开源社首发于中文社区,将于北京时间 4 月 13 日早 9 点重磅发布,敬请期待!


本文分享自微信公众号 - 开源社KAIYUANSHE(kaiyuanshe)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部