不用狂卷摄像头了,手机行业的大模型比武还有多少惊喜?

原创
2023/11/21 15:06
阅读数 15.1W
AI总结
  • 从“快”到“远”,OPPO大模型的新发力

 

“天下武功,唯快不破”——在大模型这里可能要打上一个问号。

在一条漫长的赛道上,不是“快”就是最好,也许“远”才是王道。

11 月 16 日,在 OPPO 开发者大会(ODC)上,OPPO 正式推出自主训练的个性专属大模型与智能体—— 安第斯大模型AndesGPT,并宣布开源以 AndesGPT 为核心打造的智能体框架。

作为驱动 OPPO 公司 AI 战略的核心引擎,AndesGPT 全面赋能 OPPO 智慧终端,持续构建知识、记忆、工具、创作能力,并通过与终端结合的 AI 智能体和多模态对话范式,将给用户带来全新的个性专属智能体验。

本次大会,人们能够看到 OPPO 不仅在大模型技术层面进行了创新和突破,同时在构建大模型应用生态方面也有着自己的思考。当前,国内一线手机厂商已经正式进入大模型应用的公开竞速赛道,谁跑得快可能已经分出结果,但是跑得远还要拭目以待。

那,在AI 这条赛道上,OPPO 将如何发力呢?

 

  • 智慧终端的领头羊,入局就带来两大组合创新

 

在智能终端领域,OPPO 一直都是佼佼者。这几年在 AI 领域的探索和突破,OPPO 也充分结合了自身优势,因而此次推出的大模型 AndesGPT,也有其独特之处。

据了解, AndesGPT 由 OPPO 自主训练,有三种模型规格:AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan,参数规模从十亿至千亿以上不等,其推理成本、性能和效益也都各有不同,可能根据不同场景灵活选择。

AndesGPT 在采用主流网络架构的基础上,进行了组合优化和创新,主要体现在两个方面。

我们知道,当用户与模型对话轮次越来越多,模型需要处理的文档长度就越来越大,那么模型固有的上下文长度自然就无法满足需求。

旋转位置编码(RoPE)是大模型中最常见的位置编码之一,具有良好的外推性和远程衰减的特性,应用到大模型中,则体现出较好的处理长文本的能力。此外,RoPE 还是目前唯一一种可用于线性 Attention 的相对位置编码,在不引入爆炸计算量的前提下能够接受更长的输入。

因此,AndesGPT 采用了 RoPE 位置编码,并探索了 base 最优值,结合 log-scale 和 attention 加 bias,极大地提升了大模型上下⽂扩展能⼒,从而提高模型的理解能力。

另一方面,对于大模型而言,随着上下文窗口的增加,采用何种类型的注意力机制,关系着 KV 缓存大小及内存成本,进而影响大模型推理的速度和质量。

OPPO 为 AndesGPT 选择了分组查询注意力(GQA)机制,在结合复杂移动窗口(Dilated Attention)之后,加速了训练和推理,实现了O (Nd)的线性计算复杂度,不仅有效降低了计算开销,也提高了推理速度。

总之,大模型对上下文长度的支持以及是否采用 GQA,在推理能力及推理速度方面起着至关重要的作用。而 OPPO 在这两方面的创新,是 AndesGPT 能力突破的一个关键。

 

  • “咏春”武功三板斧 —— 对话增强、个性专属和端云协同

 

对于用户而言, AndesGPT 能带来什么更加优质的体验呢?这就要谈谈 AndesGPT 的三大特性了:对话增强、个性专属和端云协同。

AndesGPT 相较于其他大模型,强化了知识问答的精准性,更能理解用户意图,多轮对话更加自然流畅,在对话的连贯性、合理性和逻辑性方面有了显著增强。如今,随着全新小布的问世以及诸多功能的陆续上线,用户将明显体会到有 AndesGPT 加持的智慧助手有何独特之处。

其次,AndesGPT 着力打造记忆能力,并融合用户画像和个人数据,强化个性专属体验。如何让用户切身感受到大模型是为其专属定制的呢?每一位手机用户的年龄、性别、如对话和操作习惯等等,都会影响其与大模型的交互体验。基于手机端场景的用户画像,OPPO 对 AndesGPT 进行了控制和微调,使得大模型与用户交互时的反馈能够更加符合用户偏好。

端云协同是 OPPO 非常看重的一大技术演进方向。大模型同时部署在端、云两侧,充分发挥端和云各自优势。基于端侧模型,可以带来更低时延、更低功耗,更好地保障用户隐私安全,甚至弱网或无网环境下也可使用。基于云端模型,可获得更加强大的计算能力支撑,同时获得基于海量数据的大模型训练与快速进化能力。这样通过端云分工、 互补、协作方式,就能够实现全场景智能调度。

 

  • 从「用户体验为先」看四大核心能力:知识、记忆、工具和创作

 

在技术驱动体验的新时代,大模型正在全面革新智能终端交互体验。是什么让 OPPO 智慧终端给用户带来有用、专业、专属的智能体验呢?那就不得不提到 AndesGPT 的四大核心能力:知识、记忆、工具、创作。

在知识能力上,AndesGPT 提供了“融合知识库、知识图谱及通用搜索,提供更专业的问答”的能力,同时也通过“⾃动识别知识依赖模块、准确判别引⼊外部知识实际、引⼊精准召回机制”来将外部知识与模型融合⽣成结果,降低“幻觉”的产生。

在记忆能力上,AndesGPT 具备了⻓时记忆机制,可以⽀持⽆限⻓度的上下⽂。长时记忆主要包括用户交互过程中产生的交互历史、个人数据,以及从中提取的结构化信息等。

在工具使用上AndesGPT 在训练阶段引⼊代码和⻓⽂本进⾏强化训练,并通过指令构建和微调,提升模型遵循指令的效果。同时还⽀持“系统设置、⼀⽅应⽤、三⽅服务、代码解释器”等各类⼯具。

在创作能力上除了不断提升的“对话”能力,AndesGPT 还具备“文生图、图生图、写真、高清壁纸”等能力,并且已经全流程支持音乐生成。此前小布刚发布的单曲《专属于你: 小布永相伴》,其歌词、旋律、音色等元素均由 AndesGPT 生成。

其中,OPPO 为 AndesGPT 塑造的记忆能力是独树一帜的。为了解决长时记忆引入的首字推理时长的问题,OPPO 创新了名为 SwappedAttention 的机制。

众所周知,Attention 计算占据了模型推理阶段的绝大部分资源。当前,大模型普遍都通过引入 PagedAttention 算法来实现内存的高效利用,从而突破性能瓶颈,加速推理。而 SwappedAttention 在 PagedAttention 基础上做了进一步的技术演进和扩展,这也是 AndesGPT 的独特之处。

那么,SwappedAttention 机制是如何发挥作用的呢?

一方面, SwappedAttention 机制让 AndesGPT 极大地节省了内存空间,实现了高效的计算交换。在多轮对话场景中,随着聊天轮次累积,Prompt 越来越长。在这个过程中,大模型需要对历史序列进行编码计算,然而当历史序列较长时,就容易出现计算瓶颈,也就是表现为每个 Query 的首字时耗越来越长,并发度低。

由于 SwappedAttention 可缓存历史 KV 值,能够大幅降低首字计算量,使得用户获得更快的系统响应。另外,在非首字的推理过程中,SwappedAttention 可以动态压缩 KV 值,进一步降低显存占用,提升整体吞吐。

另一方面, AndesGPT 使用 GPU 显存、主机内存、GDS 连接外部存储等多层级缓存方式,根据缓存时长、对话频率等策略进行分级存储与交换,不仅加快了内存访问速度,计算资源也得以合理利用,从而实现计算加速。

据悉,OPPO 对 SwappedAttention 的对话级 Session Cache 、主机内存版本以及多层级存储 GDS 连接外部存储版本都进行了详细的规划,预计很快将在未来几个月实现落地。

 

  • 从开源智能体的“扎马步”,构建大模型应用生态的“每一步”

 

此番 OPPO 积极拥抱 AI,并不是一股脑儿地跟风。事实上,AndesGPT 的能力早已扎下了生长的根,并且也在更深地“落地”于系统的土壤中。

无论算力和数据的演进、还是终端产品,OPPO 都在进行智能化升级,并且这些升级都是以 AndesGPT 大模型为基础,以智能体 Agent 为桥梁。融合了 AndesGPT 的新一代 ColorOS 用机助手,已经可以做到约 400 项能力覆盖,目标“用更简单的方式解决用户基础用机需求”;并与潘塔纳尔系统正深度协同,共同升级 ColorOS 智慧体验。

但这远远不够,对 OPPO 来说,发布 AndesGPT 只是一个开始。目前在 AI 这条赛道上,OPPO 如何才能跑得远?唯有构建自己的大模型应用生态。

但俗话说,独木难成林。仅仅依靠 OPPO 自己的力量,还不足以支撑一个繁荣的大模型应用生态,更遑论去推动我国 AI 产业的发展呢?这是 OPPO 一直在思考的问题。

最终 OPPO 给出的答案是:开源智能体框架,让大模型为人所用。如果能让所有人都参与到 OPPO 的大模型应用生态的共创与建设中来,那么 AndesGPT 将在更多领域和场景实现落地,OPPO 也能筑造起自己的护城河。

此次 OPPO 开源的智能体框架,在降低 AI 应用的开发门槛的同时,也致力于在未来让更多的参与者都可以便捷地发挥自己的创意,甚至可以零代码、低代码的方式,来构建自己的个性专属应用。满足每个人的“个性化需求”和“便捷可用、可定制”,真正实现“千人千面”,一起推动大模型产业发展的进程。

当然,为了降低开发门槛,OPPO 在智能体框架方面的设计上也下了一番心思。

一是扩展智能开发的边界。OPPO 基于自身积累的技术优势,在智能体框架上对外提供丰富的开发工具——尤其是跟手机应用开发相关的工具,开发者可以更加便捷地构建以手机为核心的应用生态。当然,如果开发 B 端应用,智能体框架也能帮助开发者解构和处理复杂任务。

二是智能体框架可将大模型与指令集更多地相结合,将大模型使用工具的能力进行强化,使得指令操作、系统控制、服务调用更加智能、灵活。

三是提供丰沛的云类资源。无论是文档存储、向量数据库搜索召回,还是数据分析类工具,都要占用大量的云类资源。OPPO 将传统云类资源进行统一封装,然后对外提供,提高了智能体框架调用和处理数据的能力。

除此之外,OPPO 还将会发布相应的 SDK ,让开发者更方便地在智能体框架集成端侧应用,把安第斯智能云、AndesGPT 的能力植入到终端中。

 

  • 从内到外,OPPO大模型技术边界的探索从未停止

 

从内部应用到构建生态,OPPO 在 AI 领域的探索愈发深入,技术边界不断向外延伸。目前已经看到,OPPO 在对话增强、个性专属、端云协同的可信通信、大模型幻觉、内容安全可控等问题上取得了不错的进展。

如今,大模型技术发展虽然日新月异,但从行业整体发展来看,还处于初期阶段,其面临的诸多难题和挑战还有待解决。

比如训练和部署成本问题。有人认为,大模型的成功建立在“巨资+巨头+人才”的强势资源联合基础上,资源投入巨大。确实如此。“从零开始”研发训练和部署推广大模型,需要强大的算力支持,以及大量的技术精英。据测算,ChatGPT 自建算力平台的固定成本约为 8 亿美元,训练 1 次耗时 1 个月,成本超过 1200 万美元。如此高额的成本,非巨头企业难以为之。

此外,大模型技术演进路径仍未定型,应用场景还主要面向互联网产业,同时还面临监管治理等问题。不过,正是因为这些挑战,我们更加期待,有一天 OPPO 能依靠其构建的大模型应用生态中的新生力量,来共同突破那些未知却又终将到来的挑战。

这应该就是OPPO赢下这次“大模型比武”的内功与外功。

展开阅读全文
加载中
点击加入讨论🔥(27) 发布并加入讨论🔥
27 评论
1 收藏
2
分享
AI总结
返回顶部
顶部