大模型进高校:飞桨赋能天津大学特色小学期

原创
2023/09/19 11:22
阅读数 104

在人工智能时代,如何利用大模型能力和数据分析技术,打造AI驱动下的原生交互软件,释放人-机协同共创的巨大潜能,服务特定场景下的用户体验和功能价值,是软件工程师和产品经理都需要关注的重要行业趋势

产业的巨变之下,天津大学未来技术学院联合百度飞桨,共同设计了《从AI赋能到AI原生:探索“大模型+软件产品”的建构之路》的项目制工作坊。工作坊为期两周,在百度Jungle老师的带领下,同学们通过学习多模态数据分析与大模型技术,以影视片为多模态信息源,逐步从图像、声音和文本中开展数据驱动的设计分析,最终将任一电影的多模态信息和概念转化为引人入胜的大模型原生交互产品。

课程培养目标

  • 多模态人工智能技术综述与多模态数据可视分析

了解多模态人工智能技术的原理、算法和应用,掌握如何利用这些AI技术来分析一个系列的纪录片中文本、图像和声音等多模态信息,并将AI分析结果,转化为文心大模型的微调数据、软件开发的设计理念和素材。

  • 大模型开发工作流

掌握从数据标注、提示词工程、数据调优、基于人类反馈的强化学习(RLHF)训练、模型测评和部署上线的大模型开发全流程,并最终基于AI Studio星河社区及文心大模型各平台能力进行实践,构建大模型时代的技能全图谱。

  • 交互产品设计与开发

利用产品原型设计工具、数据可视化技术、前后端开发技术和游戏设计引擎,逐步将产品设计理念,转化为可实时交互的上线应用,有效地塑造产品的信息价值、功能价值和用户体验。

  • 团队协作与项目管理能力

与其他参与者组成团队,共同合作开发一个软件产品。学会有效的团队协作,包括任务分配、沟通和协调。获得项目管理的实践经验,学会规划、执行和监控项目进展。

部分课程内容

工作坊的内容设置上,课程包括了导论模块、多模态数据分析模块、大模型设计与调优模块、AI原生软件开发模块和大作业实践模块,共5大模块21小节内容,涵盖大模型绝大部分的知识点和适合不同阶段学生实操的开发技能点更详细的课程安排,欢迎发送工作坊合作需求至邮箱Paddle-up@baidu.com。

部分项目成果

为期两周的工作坊,时间十分紧张,任务量也不小,在这么短的时间内,要求同学们不仅要学习和消化全部的课程内容,还需要高质量完成课题项目——这对他们的学习力、创造力,特别是爆发力,都提出了巨大的考验。

工作坊的同学,大部分来自于天津大学未来技术学院和智算学部。作为全国首批12家未来技术学院建设单位之一,天津大学未来技术学院在培养具有创新精神和创造能力的人才方面卓有成效,二年级以上学生参与竞赛率超过80%,在校期间半数以上学生获得高水平国际、国家级学科竞赛奖项,学生深造率常年保持全校第一位。

  • 项目示例一:《神原》

如何辩证地进行思考、如何多视角地做出判断与决策——在一些现实场景下,用户对于一套科学化的决策工具,有较明显的需求。在这个项目中,团队创造了一个自由的AI世界,AI智能体小人们在其中以对话的方式相互交,用户能够以外部观察者的身份进入这个世界,透过上帝视角,审视这个充满辩证主义和多元主义的AI世界,在见证语言逻辑的演变和不同观点之间冲突的过程中,汲取启发性的思考与决策。

值得一提的是,这个AI世界的主题完全由用户自行决定,所有对立立场的AI智能体都源于文心大模型,因此,研究人员也有望在产品的自由世界中探索大模型之间的自我对话及多重心智系统

团队成员陈昊昆和李登科,与Jungle老师一起,不断进行创意碰撞和方案迭代,最终确定了这一充满挑战性的主题,并在Jungle老师的引导之下,基于文心大模型LLMOps流程,结合Unity游戏引擎,实现了这款《神原》的开放世界的V1.0版本,在这个世界中,用户可以自由移动并通过行为影响不同AI Agent的对话主题与进程,并游戏化地呈现与追踪该逻辑演绎过程。

除了打造该独立应用,该团队还基于文心一言插件能力,开发了《两小儿辩日》的配套插件,引入各类逻辑技巧和结构,使得用户可以在对话式界面中快速进行特定辩题和对话的生成。

未来,百度将继续对该项目进行孵化,进一步延展项目的场景空间、端侧类型和生态影响,让该项目成为探索大语言模型多重心智、观点博弈和逻辑演绎的人人可参与的开放世界。

  • 项目示例二:蜘蛛人生

如何让电影与粉丝群体,产生更强烈的心智关联?在该项目中,电影运营方可以基于产品功能和角色分析体系,生成完整的观众调研问卷与评测能力,使得观众能够在Web⽹⻚上,只需回答一系列简单的问题,就能获得AI自动分析得到的电影⻆⾊卡,即“我是电影中的谁”——以性格为桥梁,连接电影角色与用户心智,探索AI生成-分析-再生成的“AI原生”逻辑

团队成员何洋、唐千骅和黄纯竹,正是基于市场营销需求洞察、心理学和大模型的AIGC和分析能力,以《蜘蛛侠》这部电影为例,建立了观众与蜘蛛侠之间的角色关联体系。

通过对文心一言Prompt的设计与Streamlit Web开发工具,团队开发了一个初版Web平台,对上述用户旅程图进行了产品化实现。

除了该产品,团队还打造了一个“人生模拟器”的一言插件,能够辅助剧作家开展情节辅助设计。

未来,该产品也将在工作坊以外继续完善,不断提升该产品在场景下的通用化和一站式解决能力,并结合用户的数据反馈,不断迭代性格问卷的生成效果和分析能力。

在本次校企融合的实训工作坊中,同学们与Jungle老师一起,开展了大模型技术及其应用开发探索,迈出了大模型应用开发的第一步。当前,大模型正在驱动一大批成熟应用的智能化升级与新AI原生应用的涌现,在这个创新浪潮之中,我们相信,来自高校的年轻力量,将大有可为。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部