加载中
万元预算打造高质量13B私有模型,Colossal-AI LLaMA-2 开源方案再升级

几个月前,Colossal-AI 团队仅利用8.5B token数据、15小时、数千元的训练成本,成功构建了性能卓越的中文LLaMA-2 7B 版本模型,在多个评测榜单性能优越。 在原有训练方案的基础上,Colossal-...

专家并行再升级,开源MoE模型训练效率提升9倍

ColossalAI-MoE 增大数据量、增大模型参数量是公认提升神经网络性能的最直接方法,GPT3将参数扩展到了千亿级别并且这种形势还会继续进行下去。极大的模型虽然带来了巨大的性能提升,但同时也...

01/15 10:35
10
潞晨科技与澜舟科技签署战略合作协议,联手打造更高效的企业级大模型解决方案

近日,北京潞晨科技有限公司(简称“潞晨科技”)与北京澜舟科技有限公司(简称“澜舟科技”)达成战略合作协议。此次合作旨在充分发挥双方的技术优势和资源,共同推动人工智能在行业垂直领域...

2023/10/03 17:44
86
千元预算半天训练,效果媲美主流大模型,开源可商用中文LLaMA-2

LLaMA-2相较于LLaMA-1,引入了更多且高质量的语料,实现了显著的性能提升,全面允许商用,进一步激发了开源社区的繁荣,拓展了大型模型的应用想象空间。然而,从头预训练大模型的成本相当高,...

2023/09/28 13:42
136
荣获2023年度AIGC两项行业大奖,潞晨科技势头正劲,实力出圈

近日,潞晨科技以Colossal-AI为核心的大模型降本增效解决方案,荣获“AIGC2023年度新势力企业”和“2023最值得关注的AIGC公司”双项荣誉。 在创业邦启动的“2023值得关注的AIGC公司”研究中,...

2023/09/20 14:53
174
使用Colossal-AI云平台精调私有GPT

介绍 ChatGPT的出现展示了人工智能发展的潜力。通用数据集塑造的综合性大型语言模型在垂类领域中表现并不完美,存在幻想(AI Hallucination)等问题。要真正提升此类大语言模型在垂类领域的性能...

潞晨科技与超级计算中心达成战略合作,Colossal-AI系统再添新翼助力AI大模型

近日,潞晨科技与某海外超级计算中心达成战略合作伙伴关系。本次合作旨在将海外超算中心的超级计算机和优质算力与潞晨科技基于Colossal-AI的大模型训练推理加速系统相结合,联手打造AI大模型...

2023/09/13 21:14
132
700 亿参数 LLaMA2 训练加速 195%,基础大模型最佳实践再升级

ChatGPT 引发的大模型热潮愈演愈烈,全球科技巨头和明星初创争相入局,打造以 AI 大模型为核心的竞争力和多样化商业使用需求。其中 LLaMA 系列模型,因良好的基础能力和开放生态,已积累了海...

2023/09/04 19:53
143
650亿参数大模型预训练加速38%,类LLaMA基础大模型最佳实践已开源

「百模大战」正风起云涌,AIGC相关企业融资和并购金额也屡创新高,全球科技企业争相入局。然而,AI大模型风光无限的背后是成本极其高昂,单次预训练成本或高达上千万元。基于LLaMA等现有开源...

2023/07/18 16:48
620
开源方案复现ChatGPT流程!1.62GB显存即可体验,单机训练提速7.73倍

火爆全网的ChatGPT,仿佛开启了第四次工业革命,让微软、谷歌等全球科技巨头打得昏天黑地,引得各路玩家纷纷入局,抢占赛道。 然而由于OpenAI没有开源ChatGPT,如何有效复现ChatGPT已成为摆在...

2023/02/15 13:52
2.8K
硬件预算最高直降46倍!低成本上手AIGC和千亿大模型,一行代码自动并行,Colossal-AI再升级

最近,AI大模型连续火爆出圈,人工智能生成模型(AIGC)的热度尚未褪去,聊天机器人ChatGPT便引发全网热议,两周吸引百万用户。还有卷趴一半程序员的AlphaCode,生成全新蛋白质的ESM2等,不断...

Colossal-AI助力,摩尔线程预训练语言模型MusaBert荣登CLUE榜单TOP10

摩尔线程联合潞晨科技研发的预训练语言模型MusaBert(MUSA为摩尔线程提出的通用元计算架构),在12月16日的中文语言理解领域权威CLUE榜单上进入TOP 10,最终以82.889得分在CLUE1.1总排行榜中...

天数智芯联手潞晨科技,共同助力AI大模型落地

近日,天数智芯的天垓100产品卡与潞晨科技的AI大模型开发系统 Colossal-AI 完成并通过相互兼容性测试认证,双方进行严格测试后,结果显示:相互兼容,功能正常,运行稳定,显著优于现有其他解...

2022/11/28 14:24
523
Diffusion预训练成本降低6.5倍,微调硬件成本降低7倍!Colossal-AI完整开源方案低成本加速AIGC产业落地

如何更好、更快和更便宜地实现训练、微调AIGC模型,已成为AIGC商业化和应用爆发的最大痛点。 Colossal-AI基于在大模型民主化的专业技术积累,开源完整Stable Diffusion预训练和个性化微调方案...

2022/11/09 11:53
835
仅用笔记本电脑解析90%蛋白质,单卡推理序列长度破万!Colossal-AI开源方案让AlphaFold推理提速5倍,显存降低75%

蛋白质是生命的物质基础,几乎支持着生命的所有功能。弄清楚蛋白质折叠成什么形状被称为 "蛋白质折叠问题",在过去的50年里一直是生物学的一个巨大挑战。AlphaFold将Transformer引入了蛋白质...

2022/10/28 09:43
1K
NVIDIA GPU加速AI落地,潞晨科技Colossal-AI助力大模型普适化

通过 NVIDIA GPU 加速平台,Colossal-AI 实现了通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等方式,更高效快速部署 AI 大模型训练与推理。 AI 大模型的高门槛成为研发一大...

2022/10/26 16:04
407
仅需1% Embedding 参数,硬件成本降低百倍,开源方案单GPU训练超大推荐模型

深度推荐模型(DLRMs)已经成为深度学习在互联网公司应用的最重要技术场景,如视频推荐、购物搜索、广告推送等流量变现业务,极大改善了用户体验和业务商业价值。但海量的用户和业务数据,频...

全球录取率仅7%,潞晨科技入选纽约大学Endless Frontier Labs创业加速计划

2022年9月9日,潞晨科技经过EFL团队严格的专业性技术分析,商业化团队全面持续评估后成功入选纽约大学 Endless Frontier labs (EFL) 创业加速计划。EFL创业加速计划是纽约大学斯特恩商学院为...

2022/10/06 16:40
534
潞晨科技完成600万美元种子及天使轮融资,蓝驰领投天使轮

2022年9月1日,潞晨科技宣布完成600万美元种子及天使轮融资,蓝驰创投领投天使轮,创新工场、真格基金联合领投种子轮,两轮融资在一年内快速完成。融资资金将主要用于引进更多优秀团队和拓展...

2022/09/01 10:48
19
Colossal-AI团队亮相全球超级计算机大会等多项国际盛会

近日,面向大模型时代的通用深度学习系统 Colossal-AI 连续入选和受邀全球超级计算机大会、国际数据科学会议、世界人工智能大会、亚马逊云科技峰会等多项国际专业盛会,并发表主题演讲,向众...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部