加载中
GPT总设计师:大型语言模型的未来

来源 | Stanford eCorner OneFlow编译 翻译 | 杨婷、宛子琳、贾川 回头来看,ChatGPT的横空出世验证了Ilya Sutskever此前预想的AI发展方向。 在OpenAI成立早期,强化学习大牛Pieter Abbeel曾...

OneFlow源码解析:基础计算接口Primitive

作者|郑建华 此前, OneFlow 版本更新 博客中的第 5 节对框架的“多设备适配”作了说明,原文摘录如下: OneFlow 提供简洁高效易扩展的硬件抽象层 EP(Execution Provider),以应对适配不同...

06/02 08:03
339
AI算力反碎片化:世界上最快的统一矩阵乘法

LLVM之父Chris Lattner创办的Modular团队一直在布道AI系统和工具的碎片化带来的负面影响,他们认为,这种现状不光抬高了AI开发人员的开发难度以及开发成本,还抑制了技术创新速度。 此前,他...

06/01 08:03
792
“AI教父”Geoffrey Hinton:智能进化的下一个阶段

来源 | The Robot Brains Podcast OneFlow编译 翻译 | 杨婷、贾川 ChatGPT等大模型带来的震撼技术革新,让Geoffrey Hinton突然改变了自己的一个想法。 这位75岁的“人工智能教父” 意识到,数...

YOLOv5全面解析教程⑧:将训练好的YOLOv5权重导为其它框架格式

撰文|FengWen、BBuf 1 模型导出 这个教程用来解释如何导出一个训练好的OneFlow YOLOv5模型到 ONNX。欢迎大家到这里查看本篇文章的完整版本:https://start.oneflow.org/oneflow-yolo-doc/tu...

05/23 08:03
452
YOLOv5全面解析教程⑦:使用模型融合提升mAP和mAR

撰文|FengWen、BBuf 代码仓库地址:https://github.com/Oneflow-Inc/one-yolov5。欢迎star one-yolov5项目获取最新的动态。 如果你有问题,欢迎在仓库给我们提出宝贵的意见。如果对你有帮助...

关于大型语言模型的争论和局限

以色列巴伊兰大学教授Yoav Goldberg分享了他对大型语言模型的能力和局限性的看法,以及在语言理解方面的立场。(以下内容经授权后由OneFlow编译发布,译文转载请联系OneFlow获得授权。原文:...

05/19 08:03
406
揭秘RLHF;可商用开源LLM列表;领域编译器的前世今生

1. GPT创造者:第二次改变AI浪潮的方向 那么,从推动这一系列变革的科学家角度,他究竟如何看待当先ChatGPT、GPT-4模型的发展?他对AI的思考和坚定信念从何而来?OpenAI下一步研究方向是什么...

05/17 08:03
179
《分布式人工智能系统》讲习班开始报名|CCF ADL

深度学习正以“软件2.0”的姿态进入到AIGC、生物制药、新材料以及科学计算等领域。这些领域的模型规模越来越大,尤其以ChatGPT为代表的大模型层出不穷,但由于算力增速不足、分布式编程门槛高...

05/16 08:12
67
Transformer模型的基础演算

作者 | Quentin Anthony、Stella Biderman、Hailey Schoelkopf OneFlow编译 翻译 | 贾川、徐佳渝、杨婷 1 引言 Transformer语言模型的许多基本重要信息可以通过简单计算得出。不幸的是,这些...

复杂推理:大型语言模型的"北极星"能力

(在天体摄影中,当使用长曝光拍摄星轨时,北极星位于星轨的中心,始终指向真正的北方。在古代,它为旅行者指引方向。) 作者 | 符尧 爱丁堡大学博士生 最近,很多关于较小模型的研究取得了令...

05/10 08:03
452
为什么ChatGPT用强化学习而非监督学习?

为什么ChatGPT非得用强化学习,而不直接用监督学习?原因不是那么显而易见。在上周发布的《John Schulman:通往TruthGPT之路》一文中,OpenAI联合创始人、ChatGPT主要负责人 John Schulman分...

ChatGPT作者John Schulman:通往TruthGPT之路

OneFlow编译 翻译|贾川、徐佳渝、杨婷 大型语言模型(LLM)有一个众所周知的“硬伤”——它们经常会一本正经编造貌似真实的内容。 OpenAI团队希望通过改进强化学习反馈步骤“原生地”阻止神...

05/06 08:54
2.1K
NCCL源码解析③:机器内拓扑分析

作者|KIDGINBROOK 更新|潘丽晨 上节介绍所有节点执行了bootstrap网络连接的建立 ,接下来介绍下拓扑分析。 由于GPU机器架构是多种多样的,一台机器上可能有多个网卡,多个GPU卡,卡间连接也...

向量嵌入:AutoGPT的幻觉解法?

来源|Eye on AI OneFlow编译 翻译|贾川、杨婷、徐佳渝 “一本正经胡说八道”的幻觉问题是ChatGPT等大型语言模型(LLM)亟需解决的通病。虽然通过人类反馈的强化学习(RLHF),可以让模型对...

AI算力碎片化:矩阵乘法的启示

尽管AI的发展取得了巨大进步,但编译器LLVM之父Chris Lattner认为,AI技术应用并不深入,远远没有发挥出已有机器学习研究的所有潜力。而AI系统和工具的单一化和碎片化正是造成这一问题的根源...

OneFlow源码解析:Eager模式下Tensor的存储管理

作者|郑建华 1 不同Tensor类型的存储管理方式 Lazy Tensor 的存储是由 Runtime 和 Actor 等对象管理的。静态图完成编译后,需要多少个对象、多少存储空间都是确定的,Runtime 等在初始化时会...

04/19 08:03
496
推演语言模型的大小与计算开销

2020年,OpenAI提出了在增加模型尺寸与提高模型性能之间的扩展定律,指出人们应该将大部分预算用于扩大模型规模。这篇论文直接推动了增大模型规模的浪潮。然而,在预算和内存有限的情况下,盲...

狂追ChatGPT:开源社区的“平替”热潮

目前,不少优质的类ChatGPT模型都只能通过API接入,而一些开源LLM的效果与ChatGPT相比差距不小。不过,近期开源社区开始密集发力了。 其中,Meta的LLaMA模型泄漏是开源“ChatGPT”运动的代表...

04/14 08:03
3.9K
全球首个完全开源的指令跟随大模型;T5到GPT-4最全盘点

1. Dolly 2.0:世界上第一个完全开源的指令跟随LLM 两周前,D atabricks发 布了类ChatGPT的大型语言模型 (LLM) Dolly, 其训练成本不到 30 美元。今天,他们发布了 Dolly 2.0,这是业内第一个...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部