在 RISC-V 上构建 AI 应用

原创
03/18 14:45
阅读数 4.5K

当开源指令集 RISC-V 遇上 AI 大模型,会碰撞出怎样的未来图景?

中国科学院软件研究所工程师张旭阳和他所在的团队正在研究 AI 大模型在 RISC-V 架构上的多项应用与实践。

3月22日,张旭阳将出席 OSC 源创会南京站活动,发表《RISC-V 上 AI 应用与实践》,通过自主研发的 AI 助手展示如何借助 RISC-V 架构构建高效、灵活的 AI 助手,实现智能交互与数据处理。

同时张旭阳还将分享 Qwen、DeepSeek、LLama 和 Stable Diffusion 等知名模型在 RISC-V 上应用的最新进展。

在活动开始前,我们和张旭阳简单聊了聊 RISC-V + AI 的技术创新与生态构建,欢迎想了解具体如何在 RISC-V 上构建 AI 应用的开发者到现场交流,报名链接:https://www.oschina.net/event/2423811

OSCHINA:RISC-V 对 AI 来说,是“乐高积木”还是“瑞士军刀”?

张旭阳:我觉得更像是乐高积木吧,因为 RISC-V 的架构更加开发,所以非常易于针对不同场景进行定制。用户根据不同的场景需要,定制化的设计芯片,可以扩展指令集,可以在 Soc 上集成各种类型的处理器。同时因为 RISC-V 的特性,做同样的工作,相比 x86 和 arm 来说,功耗更低。

 

OSCHINA:把 Qwen、DeepSeek 这些“大胖子”模型塞进 RISC-V,需要先帮它们“瘦身”吗?

张旭阳:我们都知道 Qwen 是阿里推出的一系列优秀的开源模型,Qwen 的优点就是,模型参数覆盖比较广,最小的模型参数只有1.5b 。我们目前成功在基于 TH1520 的 RUYIBOOK上跑通了 Qwen2.0-1.5B 的小模型,以及DeepSeek-R1-Distill-Qwen-1.5B 模型。同时在算能 SG2042和 SG2044的环境上,跑通了 DeepSeek-R1-Distill-Qwen-1.5B,DeepSeek-R1-Distill-Qwen-7B 等模型,借助于 TPU 的算力,这些精简的模型也可以跑出相对不错的性能。

 

OSCHINA:RISC-V 架构上的自研 AI 助手突出优势是什么?

张旭阳:我们自研的 AI 助手,可以说是 RISC-V 的原住民,也是首款基于 RISC-V 桌面生态环境的原生开发的AI助手,它可以原生运行在我们的自研的开源 RISC-V 笔记本 RUYIBOOK 甲辰版上,除了基础的文字问答功能之外,还有图片理解,文生图,语音合成等多模态功能。同时借助大模型的能力,可以通过文字或者语音的方式直接对操作系统做一些基础的控制。比如说调节音量,调节屏幕亮度,打开关闭应用,搜索文件并打开等。

 

OSCHINA:Stable Diffusion 在 RISC-V 上画图,实测生成一张图要多久?效果如何?

张旭阳:目前基于算能 SG2044的测试情况,在 TPU 加速情况下,StableDiffusionV1.5模型生成一张图大约5-6s,StableDiffusionXL 模型生成一张图大约是40-50s。

 

OSCHINA:开发者最怕“从入门到放弃”,有没有开箱即用的工具包?

张旭阳:可以关注一下中科院软件所 PLCT 实验室所出的 RuyiSDK 开发工具集。

RISC-V 开发板镜像相关信息以及下载、安装教程,便于开发者获取相关镜像(换而言之提供一个镜像站),其中涵盖多种操作系统(如基于 Debian 的 RevyOS、openEuler RISC-V 等)提供给开发者使用。

提供 RISC-V 开发板对应的演示程序、开发资料和相关工具(含适用的编译工具链、模拟器等)的信息维护和下载,方便 RISC-V 开发者快速上手。

在集成开发环境中增加 RISC-V 设备专有向导页面、实现开发环境和运行环境的文件传输、支持在 RISC-V 设备上调试应用程序等。

 

OSCHINA:玩转 RISC-V + AI 需要点亮哪些技能树?

张旭阳:其实如果感兴趣的话,完全可以自己买一个开发板先玩起来,因为技能是可以在实践的过程中逐步去学习的。无论是 AI 相关的,还是 RISC-V 相关的。只要你有一定的计算机专业基础,然后又会一两门开发语言,比如C,C++,python 等。那么就可以自己利用开发板来做一些研究和学习。咱们的大部分普通人的目的可能并不在于搞出一个 DeepSeek,而是看看能利用 DeepSeek 做些什么。

 

OSCHINA:预言时间:RISC-V + AI 组合拳,3年内能 KO 传统架构吗?

张旭阳:这个时间点我不好预估,因为无论是 AI 软件栈,还是 RISC-V 都在快速发展中,他们都还没有达到一个成熟期。但是呢,我认为在开源开放,合作共赢的生态下,RISC-V 和 AI 未来一定可以拿出一些标杆级的应用,可以在某些应用场景下落地生根。我们和传统的指令集架构,很长时间都是共生共存的关系。并不是说要 KO 掉谁。但我们因为灵活扩展等特性,可能未来在 AI 领域比传统指令集更加容易去开拓。

 

即刻报名,现场探智能体设计与使用问题

🔥报名链接:https://www.oschina.net/event/2423811

⏰时间:03-22 14:00 至 18:00

🚗地点:南京瑞澜庭院酒店(南京秦淮区瑞金路街道解放路 46 号)

 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部