加载中
GPT-3模型为何难以复现?这也许是分布式AI框架的最优设计

撰文 | 成诚 2020 年,最轰动的 AI 新闻莫过于 OpenAI 发布的 GPT-3 了。它的1750亿参数量及其在众多NLP任务上超过人类的出众表现让大家坚信:大模型才是未来。但与之带来的问题是,训练超大...

2021/05/14 11:55
3.2K
揭示语言大模型的采样过程

作者 | Chip Huyen OneFlow编译 翻译|杨婷、宛子琳 机器学习模型具有概率性。对于同一个问题,机器可能会给出不同回答,以“世界上最棒的美食是什么?”这一问题为例。假如我们间隔一分钟,...

好久不见!OneFlow 1.0全新版本上线

好久不见。今天是 OneFlow 开源的第 1320 天。 与 OneFlow 框架的创作者们一样,过去一年,它也经历了过山车般的命运。好在,即使在下坡潜伏期依然被社区用户关注和使用,作为它的创作者,我...

有奖征集|与OneDiff加速前行,GenAI探索触手可及

生成式AI的发展不仅在改变我们的生活方式,也在重塑我们的工作模式。然而,GenAI的推理成本依然是阻碍应用创新的重大挑战。 为此,针对图片/视频生成应用,硅基流动推出了专用推理加速引擎O...

混合输入矩阵乘法的性能优化

作者 | Manish Gupta OneFlow编译 翻译|宛子琳、杨婷 AI驱动的技术正逐渐融入人们日常生活的各个角落,有望提高人们获取知识的能力,并提升整体生产效率。语言大模型(LLM)正是这些应用的核...

OpenAI的组织形态、决策机制与产品构建

与ChatGPT面世后的疑惑类似,视频生成大模型Sora发布之后,人们依然在问同样的问题:为什么OpenAI能做出这样的创新成果? 要知道,世界上不乏人才密集、有钱、有数据的公司,但能持续做出划时...

LLM推理入门指南①:文本生成的初始化与解码阶段

随着生成式AI的火热发展,高企的语言大模型(LLM)推理性能和成本成为阻碍其大规模应用的关键挑战。 LLM推理是指使用仅解码器Transformer模型生成词元,而大多数挑战及其相关的解决方法都来自...

GenAI的“关键一跃”:推理与知识

当前的人工智能领域正通过生成式人工智能(GenAI)经历一场重大转变。这一转变不仅代表了技术上的飞跃,更标志着人工智能领域的范式转变,引发了有关GenAI的独特特性及其深远影响的关键问题讨...

从头理解与编码LLM的自注意力机制

本文将介绍Transformer架构和GPT-4、LLaMA等语言大模型中使用的自注意力机制。自注意力和相关机制是LLM的核心组件,使用LLM时,了解这些机制十分有必要。 本文还提供了使用Python和PyTorch从...

语言大模型的浮点运算分配

本文通过实证分析展示了实际LLM模型的FLOPS分配情况,并与理论分析进行对比。通过理论和实证相结合的方式,本文为理解和优化语言大模型的性能提供了有益见解。 作者Finbarr Timbers是一名机器...

语言大模型推理加速指南

本文是一篇关于加快语言大模型推理速度的综合指南。从硬件优化到各种解码技巧,文章介绍了各种优化策略,旨在帮助读者更好地理解和优化LLM的性能。相信不论是这一领域的初学者或是专家,都能...

Mistral AI:探索LLM推理的吞吐、时延及成本空间

选择正确的LLM推理栈意味着选择适合你的任务的正确模型,并配以适当的推理代码在适当的硬件上运行。本文介绍了流行的LLM推理堆栈和设置,详细说明其推理的成本构成;并讨论当前的开源模型以及...

大模型的规模扩展是否可持续?

作者 | Dwarkesh Patel OneFlow编译 翻译|杨婷、宛子琳 AGI何时会到来? 如果我们能不断扩展LLMs++的规模(并因此取得更好和更通用的性能),就有理由期望到2040年(或更早)出现强人工智能...

硅基流动完成5000万元天使轮融资

北京硅动科技有限公司(以下简称“硅基流动”)于近日完成5000万元天使轮融资。本轮融资由创新工场领投,耀途资本、奇绩创坛以及王慧文等科技界知名人士跟投,华兴资本担任独家财务顾问。 随...

OneFlow技术年货:800+页免费“大模型”电子书

2023年,无论对人工智能领域还是整个科技界而言,“ChatGPT”无疑是本年度第一关键词。 这一年,在OneFlow社区发布的100多篇文章里,涉及大量与ChatGPT相关的大模型类技术解读、前瞻性观点以...

20篇NeurIPS论文精选:语言大模型的六大趋势

本文总结了NeurIPS 2023大会上与自然语言处理相关的20篇精彩论文。通过这些论文,作者主要观察到了LLM的六个主要趋势,这些论文涉及重新思考LLM的基本假设,并为其内在运作提供了新的见解和观...

2023/12/27 09:49
93
ChatGPT一周年:开源语言大模型的冲击

自2022年末发布后,ChatGPT给人工智能的研究和商业领域带来了巨大变革。通过有监督微调和人类反馈的强化学习,模型可以回答人类问题,并在广泛的任务范围内遵循指令。在获得这一成功之后,人...

2023/12/20 09:52
213
迈向100倍加速:全栈Transformer推理优化

作者 | 符尧,爱丁堡大学博士生 OneFlow编译 翻译|宛子琳、杨婷 假设有两家公司,它们拥有同样强大的模型。公司A可以用1个GPU为10个用户提供模型,而公司B可以用1个GPU为20个用户提供模型。...

语言大模型的推理技巧

本文探讨了一系列语言大模型的推理优化技巧,涵盖KV缓存、量化和稀疏性等方法,并分享了如何有效实施这些技术。对于想要优化Transformer模型,以期提升推理速度或效率的人来说值得一读。 本文...

LoRA微调语言大模型的实用技巧

目前,微调定制化LLM会耗费工程师的大量时间和精力,而选择合适的微调方法以及掌握相关技巧可以做到事半功倍。 此前,在《微调语言大模型选LoRA还是全参数?基于LLaMA 2深度分析》中,文中对...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部