大模型驱动云计算创新变革

2023/09/14 18:31
阅读数 64
AI总结
接下来我分享的内容想回归到云计算本身,分享一下大模型会给云计算带来哪些颠覆与变革。我们相信: 大模型将驱动云计算的创新并重塑云计算的产业格局。

1    AI 原生时代开启,大模型驱动云计算创新变革

大模型的发展不同于以往的 AI 技术迭代,它同时驱动了底层 IT 基础设施的重构,也带来了上层应用开发模式的变革。

我们回顾一下过去多年来技术发展的脉络。

自 2012 年以来,深度学习就逐步成为人工智能的主流算法。在移动应用上,深度学习大放异彩,算法模型能力成为很多移动互联网企业的核心竞争力。但是,深度学习仅停留在对应用的赋能上,没有从实质上改变应用的研发范式。

自经典云计算诞生以来,计算网络存储的虚拟化使算力成为基础服务,数字化基础设施的格局被云计算所改变。移动应用则采用了对云更加亲和的云原生架构理念做设计,这大幅提升了移动应用的开发迭代效率,一定程度助力了移动应用市场的繁荣。

我们发现,移动应用、深度学习和云计算三个时代有所重叠,移动应用市场的蓬勃也受益于深度学习和云计算的发展,但是应用、AI 技术和 IT 基础设施仍然是三条平行线独立演进。

而在大模型开启的 AI 原生时代,这三条平行线终于迎来了交汇:

在应用层,大模型独有的理解、生成、逻辑、记忆的能力将会在场景中以 AI 原生应用的方式落地。

与此同时,大模型会成为通用的服务,即 MaaS,这将大幅降低 AI 落地的门槛、实现真正的 AI 普惠。

而作为基础设施的云计算将会在大模型发展的驱动下,在 AI 原生应用的引领下发展成为 AI 原生云,重塑云计算的产业格局。


2    生成式 AI 催生研发新范式:新架构、新服务、新计算

生成式 AI 会催生新的研发范式,这体现在 AI 原生应用落地需要新的架构指导,AI 模型能力的研发和推理需要新的服务承载,而基础设施也会发展出以 AI 为核心的新的计算体系结构。
下面我们逐个来介绍一下:
第一,新的架构 。AI 原生应用是面向大模型,以大模型为核心来设计的,要充分发挥大模型新的特征,因此对应用提出了新架构的要求。
我们认为构建 AI 原生应用需要几个关键技术组件:
  • 首先是 Model,就是模型能力,将以 API 调用的形式提供服务。 这里的模型包含基础模型也包括客户自己的微调模型。
  • 然后是 Prompt,帮助用户从模型获得更好的回答。
  • 还有 Chain 和 Agent 来实现静态编排和动态编排,利用大模型的独有能力实现链式调用。
这些是可以更好使用到的模型能力,是大语言模型带来的变化。而因为这些变化,应用自然需要对其数据流和业务流进行重塑。
第二,新的服务 模型能力将成为新的基础服务 MaaS,而 MaaS 需要具备模型丰富、易用和面向 AI 原生的三个特点。这要求:
首先,大模型平台应该提供丰富的大模型供客户选择。因为我们相信应用一定是「通专结合」的,未来不可能一个模型解决所有问题,需要模型组合去满足不同客户场景的需求。
其次,大模型平台要简单易用,需要有全套工具链 ,覆盖从数据收集标注到模型研发训练评估,再到模型上线推理优化的全生命周期。
最后,大家都知道数据对于 AI 模型至关重要,平台需要帮助客户建立起自己的数据闭环能力,更好支持客户模型迭代。
第三:新的计算 。大模型需要进行大量数据的高密度计算,对于计算体系结构带来新的要求。
我们看到计算负载在加速向异构计算迁移,且规模越来越大。微秒级互联成为将算力规模化扩展的关键能力。这些都需要我们从整个体系结构的层面上,用软硬一体的方法去解决。
下面我会进一步介绍 AI 原生应用新架构、模型新服务和面向 AI 的新计算基础设施。

3    Prompt the Future,让 AI 原生应用开发更简单

AI 需要在场景内落地,这将由一个应用来实现承载。一个 AI 原生应用如何设计、都包含哪些服务组件,我想这是大家非常关心的。
我这里分享一下一般的业务调用流是什么样的。大模型应用流程从用户的一次请求开始,系统先对用户意图进行拆解编排,得到的多个子任务通常以领域知识增强、搜索增强等方式实现,输出的内容通过大语言模型合成完整结果,最后经过安全模块的审计后返回给用户。基础设施为任务的编排调试、系统的日志监控等提供支持。这是一个基本的大模型业务调用流。
而 AI 原生应用开发的背后则需要三个关键的能力:一是高效的应用开发环境,百度会提供低代码工具、丰富的垂类应用模板和可视化调试工具;二是丰富的领域增强支持,百度提供自研向量数据库及数据湖、搜索增强等服务;三是完备的内容安全保障,我们提供多种手段保障输出内容的安全。
基于以上能力,客户可以非常方便搭建一个 AI 原生应用。


4    千锤百炼,让模型应用更便捷

刚才抖的分享,大家已经看到我们千帆大模型平台 2.0 的超强能力,帮助企业跨越大模型应用的鸿沟。 千帆大模型平台正是按照 AI 原生的全新技术栈打造,在数据、Model、Prompt、Chain、Agents 每一层都提供了丰富的功能和组件,让大模型应用更便捷。
千帆平台的特点总结起来有三个:
  • 一是提供多个好用的大模型,不仅有百度自研的文心一言,也提供了多个第三方大模型。同时面向这些模型,提供了重训、微调等可视化工具,支持快速便捷的训模型。

  • 二是提供丰富的生态工具并配合整体百度智能云的服务,为大模型落地应用做好了准备。

  • 三是预置丰富的数据集,同时也支持应用数据回馈到模型迭代更新,实现数据主动驱动业务迭代。

千帆平台为大模型的研发、服务提供了全生命周期的支持。


5    迭代新生,让基础设施更智能

在基础设施层,百度研发了百舸异构计算平台。百舸平台为大模型和 AI 原生应用提供了:稳定高可靠的系统、高性能的训练推理服务和基于高速网络的数据交换能力。
在高可靠方面 大规模并行训练的稳定性是客户关注的基础设施关键能力之一,百舸具备 强大的容错能力,能做到秒级故障感知、分钟级自动故障容错,能实现万卡训练月级不中断,充分满足 客户大模型训练需求。
在高性能方面 ,经过百度多年在 AI 基础设施上的积累,百舸已经实现对公开模型库的训练性能提升 30%+,推理吞吐提升 10 倍。
在高速网络方面 ,我们有自研的高速网络,支持更低的通信延时和更大的通信吞吐,为算力规模的扩张打好了基础。

6    百度智能云 AI 原生云产品全景图

面对 AI 原生时代的历史机遇,百度智能云已经打造了全方位的产品。这里我们展示一下百度 AI 原生云的产品全景图,大家可以看到我分享的内容只是其中一小部分,更多的产品分享会在下午的《智能计算&大模型技术》分论坛,欢迎大家到时莅临我们分论坛现场。

7    AI 普惠,让智能触手可及

实现 AI 普惠是我们的信念,我们一直致力于让每一个人、每一个组织都能享受到AI 技术的便利,打破数字鸿沟,实现公平与进步,让智能触手可及,用科技让复杂的世界更简单,谢谢大家!

本文分享自微信公众号 - 百度开发者中心(baidudev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部