大模型分析与趋势展望

原创
05/09 16:51
阅读数 110

点击查看完整活动回顾:https://my.oschina.net/u/4489239/blog/11105657

点击跳转 5 月 18 日深圳源创会预告:https://www.oschina.net/event/2332004

4 月 20 日,第 102 期源创会在武汉成功举办。本期邀请来自武汉人工智能研究院、华为、MindSpore、京东云、Gitee AI 的人工智能专家,围绕【大模型竞技与性能优化】主题发表演讲。武汉人工智能研究院创投转化部总监刘昊带来了《大模型分析与趋势展望》主题分享。刘昊所在的武汉人工智能研究院早在 2020 年便开始研究大模型技术,2021 年 7 月发布全球对外发布了全球第一个千亿参数、覆盖图像、文本、语音的三模态大模型。
 
刘昊指出,在早前的人工智能技术研究中,存在三大问题,一是泛化能力很差,只能解决相似问题;二是模型能力单一,不能解决富文本,或者需要集成多个模型;三是过去一段时间,对数据标注的需求量有点过大了。而大模型恰好可以从这三个方面去解决问题,尤其是在 ChatGPT 出现之后。 ChatGPT 的成功代表了人工智能很多的下游任务或是下游模型,可以进入流水线式的生,打开了一个人工智能产品化的时代,让技术人员可以去专注于做底座模型,页让更多人可以参与到人工智能行业中。
 
此外,大模型催发了存储、算力、运力等多个环节的拉动,通过大模型把很多上下游的产业串到了一起。
 
从技术上来说,国内外许多大模型本质上还是沿用之前的 MoE 架构,但大模型做了一次很好的工程化和产品化改造。在模型参数超过 660 亿之后,人工智能中的不可解释性变强,包括能力涌现看起来也是不可解释的。刘昊认为,OpenAI 用了什么方式使得 ChatGPT 的效果这么好,目前还是一个黑盒,但已为知识统一表征和推理、世界认知和建模等问题探索出了一条道路。
 
大模型既改变了研究模式,也改变了服务与开发模式。比如很多公司开始退订大模型的显卡,停止大模型的开发。最终行业内可能仅存几家大模型工作做底座大模型,而更多的则是行业专业。这也意味着大模型已经进入到了工业化生产的阶段,大模型之上将会形成很多的工具。
 
目前,紫东太初 2.0 已经升级为全模态大模型,加入三位点云等信息模态。同时,武汉人工智能研究院也建设了全栈国产化人工智能开放服务平台,把大模型当作底座,部署一站式平台,采用算力 + 平台的新模式,一方面用底座微调数据,一方面可以把平台和算力无缝结合。目前已在全国落地多个 AICC,完成全栈国产化适配,利用高性能普惠算力,深入融合行业场景,加速大模型应用赋能千行百业。
 
最后,刘昊也给出了他对大模型发展趋势的 4 大判断:
  • 趋势一:信息技术应用和创新生态发生巨变,如通过不断喂养数据完成各种智能活动,应用开发进入自然语言编程模式等;
  • 趋势二:重塑再造决策智能的范式,如人机对齐辅助决策;
  • 趋势三:向小型化和领域化方向发展,在通用认知 AI 基础上迈向专业人工智能;
  • 趋势四:奔向更加通用的人工智能,如大模型与人形机器人交互。
扫码观看《大模型分析与趋势展望》演讲回放 ⬇️
展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部