揭秘XPU架构下AIGC的推理加速艺术--AI PC 新纪元:将 AI 引入 NPU,实现快速低功耗推理

原创
06/05 17:00
阅读数 24

踏入AIPC新纪元 ,我们似乎穿越到了一个充满魔法的新世界 ,生成式AI和大模型如同现代法师 ,而AIPC和边缘计算则成为他们施展魔法的法杖,从AI聊天机器人到智能绘画工具, 再到数字化虚拟人物 ,魔法杖们不仅推动了新型处理器和计算架构的研发 ,也促进了AIPC产品的诞生和人机交互方式的革命性变革。

近日 ,在OpenVINO™ DevCon中国系列工作坊2024第二期活动中,中国惠普创新中心消费类电脑事业部的资深产品经理王若羽和英特尔AI框架OpenVINO™ 工 程师主管赵桢就惠普AIPC结合英特尔OpenVINO™ 是如何打造出一种全新的 、前所未有的AI体验进行了专题探讨 ,并演示惠普全新开发的本地电脑助手“AI 小惠 ”如何融入日常生活 ,带来更便捷、更智能的体验。

此外,来自英特尔的武卓博士与杨亦诚老师详细介绍了OpenVINO™ 基于 NPU 的 AIGC 加速方案。


All in AI, 开启AIPC新纪元

专家们认为 ,AIPC的推出标志着个人计算领域的重大进步 ,其集成了先进的AI算力 ,不仅在硬件性能上超越了传统PC ,还在软件服务层面展现出卓越的综合实力。

24小时智能伙伴  告别繁复的操作,AIPC内置的超智助手仿佛你身边无形的创意推手。无论是在晨光中轻启工作日程,还是深夜灵感迸发的瞬间,它总能即刻响应,让每一个想法无缝转化为现实。这不仅仅是电脑,这是你的私人效率助手,为你的每一步创新加速。

革命性AI效能  酷睿Ultra集成NPU,专为AI推理优化,为创意装上翅膀,视频编辑流畅如丝,3D建模如闪电,即便是复杂的AI创作任务也游刃有余。以往需要数小时的工作,现在只需片刻,创意不再受限于等待,灵感的火花瞬间点燃现实。

500+优化模型  超过500个AI模型针对酷睿Ultra处理器进行优化,精心调校,无论是图像生成、语音识别还是高级数据分析,都能在指尖轻松实现。配合OpenVINO™技术,让你的创意项目部署更快、运行更稳,让每个人都能成为AI时代的弄潮儿。

高效与绿色同行  在追求极致性能的同时,AIPC同样注重环保与能效。Ultra系列处理器的智能功耗管理,确保每一瓦电力都用在刀刃上,即便面对高强度任务挑战,也能保持冷静与高效,让智能生活更加绿色可持续。


AI PC的XPU算力架构

英特尔®酷睿™Ultra处理器展现了一幅未来计算的宏伟蓝图。其XPU设计巧妙融合CPU、GPU与首度集成的NPU,形成一个高度协同的统一计算平台,尤其NPU的加入,标志着AI处理能力的显著飞跃。

同时,在Intel 4先进制程工艺加持下,CPU模块不仅搭载了专为高性能设计的性能核,还融入能效核与超低功耗核,确保多任务处理与能耗间的完美平衡。而集成的GPU,凭借与Arc高端独显相同的锐炫架构,为用户带来桌面级的图形体验,无论是专业设计还是沉浸式娱乐,皆游刃有余。

惠普AI小惠,您身边的电脑专家

惠普与英特尔合作推出的本地服务大模型——AI小惠1.0。AI小惠基于十年服务数据,支持离线操作,保障工作效率与数据安全,能提供问题答案并给出建议。用户可通过AI推荐的卡片,一键访问相关设置,简化操作,减少手动导航,并通过现场演示,展示了AI小惠在视频会议或系统设置以及网络问题等场景时遇到问题时,如何像随处可在的电脑专家一般快速并详细地提供解决步骤,减少恼火的“抓瞎”时间。

AI小惠:让沟通不再静悄悄



视频会议无声?网课变哑剧?点开小球,呼出小面板,AI小惠化身你的电脑专家,不仅懂你话,硬件问题也能查!一键导航到声音设置,检查设备,排除故障,告别客服烦恼。

时空错位?AI小惠来救!



在出差的高空或异国,电脑时钟常闹“时差”,原因多是没联网。“AI小惠”,这个神奇的本地英雄,即使在没有网络的环境下也能快速找到解决时间不对的问题。只需轻轻一点,系统时间可瞬间同步,再也不用担心时区差异带来的烦恼啦!AI小惠的初心,就是让用户在任何场景下都能轻松应对各种需求。毕竟,无论哪里,准确时间都超级重要!

电脑小白的救星:AI小惠



网络问题,电脑小白的噩梦?AI小惠,这个7x24小时在线的电脑专家,帮你轻松应对各种网络困扰。只需用最自然的语言提问,无论是排查网络故障、提供IP地址还是手机热点连接,AI小惠都能帮你解决,让你再也不用担心网络问题的尴尬了!

目前,搭载最新一代酷睿处理器的惠普AIPC,星book pro轻薄本系列已全面上市发售。


探索OpenVINO™的AI魔法

OpenVINO™正以其独特魅力,引领生成式AI迈向更广阔的本地应用舞台。让我们一同见证,它是如何成为开发者手中的“魔杖”,轻松驾驭从语言到视觉,乃至声音的创意风暴。

  • OpenVINO™支持各种主流AI模型

    语言模型:Llama3, Mistral, Phi3等;

    本地中文大模型:ChatGLM3, Qwen1.5, Baichuan等

  • 多模态任务支持

    文生图:Stable Diffusion, LCM;

    视频生成:SVD/DiT;

    语音处理:多种基于Transformer和GAN的模型。

  • 多种模型融合与优化策略

    支持模型组合与定制流水线,RAG技术与LangChain的深度融合,以及API驱动的自定义嵌入,提供了强大又灵活的应用网络。加之PTQ、QAT、权重压缩等量化与压缩技术,确保了高性能与低延迟的完美平衡,让复杂模型流畅运行。

  • 门槛降低,创意升空

    OpenVINO™对Hugging Face框架模型的拥抱,以及其提供的灵活pipeline构建方式,让大语言模型的部署不再高不可攀。无论是新手还是老将,都能在这个平台上快速启航,让创新的想法迅速落地。


OpenVINO™基于NPU的AIGC加速方案

工欲善其事,必先利其器。武卓博士详细介绍了生成式AI,与传统人工智能不同的是,生成式AI可生成文本、代码、音乐等独特内容,模型尺寸也从数千到数亿个参数实现了从个位数的数十亿到数万亿个参数,并完成了用户与模型的交互,接受更高的延迟。

在AIPC上进行AI部署,可以将数据很好地保护在本地,拥有数据隐私,也可以有效地控制成本。

CPU、GPU、NPU协同工作, 实现最佳的AI计算性能和能效比
  • NPU  专注于电源效率,适用于持续的AI工作负载和AI卸载,延长电池寿命。

  • CPU   响应快速,是低延迟AI工作负载的理想选择。

  • GPU   高吞吐,非常适合AI加速的数字内容创作和游戏。


OpenVINO™ 2024.1最新的量化工具
随后英特尔AI软件工程师杨亦诚分享了在AIPC上运行OpenVINO™的实例Demo,并介绍了 OpenVINO 2024.1最新的量化工具 Hybrid Post-Training Quantization (混合后训练量化),它结合了静态量化和动态(或称为自适应)量化的方法,平衡了量化带来的计算效率提升与模型精度损失,适用于生成式AI和大语言模型等复杂模型。
提升不仅仅体现在电脑性能上,功耗上也能给予惊喜。 基于NPU的AI推理,极大提升了计算资源利用率,更提升了笔记本电脑在离线场景下的用电需求。 将生成式AI模型部署在不同的XPU上,在获得高性能的同时,可以达到异构资源平衡,以及最好的能耗平衡,让用户省电也有道。

更丰富的AIGC示例

此外,除了 经典的 目标检测 人体姿态检测、 动作识别等经典的传统AI示例外, OpenVINO™ Notebook仓库中也添加了很多生成式AI示例,满足同学们的多层次需求,大家可以通过模型关键词或者任务关键词在导航界面去检索自己任务所对应的Notebook示例,或通过标签的方式,进行过滤,选择相应的Notebook示例。

扫码可观看精彩回放

心动的的同学们

快探索起来吧!



           
           
           
你也许想了解(点击蓝字查看)⬇️
➡️  隆重介绍 OpenVINO™ 2024.0: 为开发者提供更强性能和扩展支持
➡️  隆重推出 OpenVINO 2023.3 ™ 最新长期支持版本
➡️  OpenVINO™ 2023.2 发布:让生成式 AI 在实际场景中更易用
➡️ 开发者实战 | 介绍OpenVINO™ 2023.1:在边缘端赋能生成式AI
➡️ 基于 ChatGLM2 和 OpenVINO™ 打造中文聊天助手
➡️ 基于 Llama2 和 OpenVINO™ 打造聊天机器人
➡️ OpenVINO™ DevCon 2023重磅回归!英特尔以创新产品激发开发者无限潜能
➡️ 5周年更新 | OpenVINO™  2023.0,让AI部署和加速更容易
➡️ OpenVINO™5周年重头戏!2023.0版本持续升级AI部署和加速性能
➡️ 开发者实战系列资源包来啦!
➡️  以AI作画,祝她节日快乐;简单三步,OpenVINO™ 助你轻松体验AIGC


          
          
          

扫描下方二维码立即体验 

OpenVINO™ 工具套件 2024.1


点击 阅读原文  获取工具套件,评论区已开放,欢迎大家留言评论!

文章这么精彩,你有没有“在看”?



本文分享自微信公众号 - OpenVINO 中文社区(openvinodev)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部