一句话生成 3D 人脸资产|ChatAvatar 角色生成 AI 登陆 Cocos

原创
2023/12/14 12:01
阅读数 32

近几个月以来,AIGC 一路高歌猛进,让我们见证了一场行业革命。

然而 AIGC 在 3D 资产领域却仍是业内的难题,少有突破。

小编今天给大家推荐一个 3D 角色 AIGC 利器 ChatAvatar。它可以算是 3D AIGC 领域的一匹黑马,走在了领域的前沿。

ChatAvatar 团队为 Cocos Creator 制作了专门的插件,目前已经上线 Cocos Store,开发者们可以免费获取。

ChatAvatar Import Tool 插件实现一键导入 ChatAvatar 数字人资产包的功能,如:

  • 模型导入
  • 材质导入
  • 贴图资产导入
  • 资产设置

使用该插件可以简单快捷将 ChatAvatar 3D 数字人资产导入引擎场景并投入使用。

关于 ChatAvatar

ChatAvatar 由影眸科技提供。

影眸科技孵化于上海科技大学MARS实验室,成立后已获得奇绩创坛与红杉种子的两轮投资。

通过与国内顶尖人工智能、计算机视觉实验室合作,积极推动尖端实验室科研成果的民用化、商业化,探索前沿人工智能、计算机视觉技术在大众娱乐市场的推广应用。

2021年,AIGC 还未掀起巨浪之时,公司就已经推出国内首个 AIGC ToC 绘画应用 Wand,产品一度登顶 AppStore 分区榜首。

此次登陆 Cocos 商店 的 ChatAvatar 角色生成平台是影眸科技凭借团队在生成式 AI 领域多年的技术积累,使用创造性的方案将自有的 PFA(Production-ready Facial Assets)数据集与 diffusion 技术相结合,做到了以自然语言文本为输入,生成符合 CG 行业制作标准的3D人脸模型PBR材质

ChatAvatar 也是首个能够完成产品级 3D 资产生成的 AI 算法框架,也是影眸科技在 AIGC 新赛道上的又一次重大突破。

在 Cocos 中使用 ChatAvatar

我们可以在 Cocos Creator 中引入 ChatAvatar 生成好的角色素材,并支持 Cocos 默认的 PBR 材质。

具体步骤可以参考这个视频:

快速开始

  • 点击编辑器菜单的“文件 -> 导入 ChatAvatar 资源”,在打开的面板上点击 Import 按钮,载入zip包。
  • 根据需求选择需要导入的内容,再点击确定即可。
  • 导入成功会在项目下的 chat-avatar-import/ 目录下生成导入的资源,其中 textures、metarials、Animation 和 sources 是一些公共的材质贴图、预览动画以及控制脚本和资源,项目内一份即可,默认会导入到此处,请尽量不要调整公共贴图的位置避免重复导入造成包体增大。

身体控制

  • ChatAvatar Import Tool 提供了基础的身体控制脚本与动画文件,ChatAvatar 数字人资产可以生成具有骨骼的身体模型。

  • 将模型文件中的 additional_body 模型文件拖入场景中,并将 chat-avatar-importer/sources/ 中的预置节点 IK、LookAt 添加至 additional_body 节点。同时将 chat-avatar-importer/sources/Canvas 添加至场景中。

  • 点击 additional_body 节点并添加如下组件。
  • 点击 Main Camera 并为其添加 chat-avatar-importer/sources/Camera/FollowCamera.ts 组件。

  • FollowCamera.target 设置为 additional_body 节点中的 LookAt 节点。

  • 点击 Canvas 节点, FollowCameraInput.Camera 设置为 Main Camera。

设置完毕,此时即可运行场景并控制角色移动。

面部控制

ChatAvatar 还支持 Blendshape。

Blendshape 的控制脚本可以从 Cocos 官方的模块展示集合中获得(https://docs.cocos.com/creator/manual/zh/cases-and-tutorials/)

总结

以上就是 ChatAvatar 的主要功能,更多功能就留给开发者们自己去探索咯。

希望开发者们在 ChatAvatar 的加持下,能够更高效、更便捷、更低成本地生产 3D 角色资产,提升自己的游戏产品品质。

点击【阅读原文】即可进入 Cocos Store 商品页面,免费获取 ChatAvatar。

本文分享自微信公众号 - COCOS(CocosEngine)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部