英特尔研究院宣布与Blockade Labs合作发布LDM3D（Latent Diffusion Model for 3D）模型，这一全新的扩散模型使用生成式AI创建3D视觉内容。LDM3D是业界领先的利用扩散过程（diffusion process）生成深度图（depth map）的模型，进而生成逼真的、沉浸式的360度全景图。LDM3D有望革新内容创作、元宇宙应用和数字体验，改变包括娱乐、游戏、建筑和设计在内的许多行业。
生成式AI技术旨在提高和增强人类创造力，并节省时间。然而，目前的大部分生成式AI模型仅限于生成2D图像，仅有少数几种可根据文本提示生成3D图像。在使用几乎相同数量参数的情况下，不同于现存的潜在扩散模型，LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计中的标准后处理方法相比，LDM3D能够为图像中的每个像素提供更精准的相对深度，并为开发者省去了大量用于场景开发的时间。
-- Vasudev Lal
英特尔研究院人工智能和机器学习研究专家
封闭的生态系统限制了规模。英特尔致力于推动AI的真正普及，通过开放的生态系统让更多人从这项技术中受益。计算机视觉领域近年来取得了重大进展，特别是在生成式AI方面。然而，当今许多先进的生成式AI模型只能生成2D图像。与通常只能根据文本提示生成2D RGB图像的现有扩散模型不同，LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计（depth estimation）中的标准后处理（post-processing）方法相比，LDM3D在使用与潜在扩散模型Stable Diffusion几乎相同数量参数的情况下，能够为图像中的每个像素提供更精准的相对深度（relative depth）。
这项研究有望改变我们与数字内容的互动方式，基于文本提示为用户提供全新的体验。LDM3D生成的图像和深度图能够将诸如宁静的热带海滩、摩天大楼、科幻宇宙等文本描述转化为细致的360度全景图。LDM3D捕捉深度信息的能力，可以即时增强整体真实感和沉浸感，使各行各业的创新应用成为可能，包括娱乐、游戏、室内设计、房产销售，以及虚拟博物馆与沉浸式VR体验等。
6月20日，在IEEE/CVF计算机视觉和模式识别会议（CVPR）的3DMV工作坊上，LDM3D模型获得了“Best Poster Award”。
LDM3D是在LAION-400M数据集包含一万个样本的子集上训练而成的。LAION-400M是一个大型图文数据集，包含超过4亿个图文对。对训练语料库进行标注时，研究团队使用了之前由英特尔研究院开发的稠密深度估计模型DPT-Large，为图像中的每个像素提供了高度准确的相对深度。LAION-400M数据集是基于研究用途创建而成的，以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
LDM3D模型在一台英特尔AI超级计算机上完成了训练，该超级计算机由英特尔®至强®处理器和英特尔®Habana Gaudi®AI加速器驱动。最终的模型和流程整合了RGB图像和深度图，生成360度全景图，实现了沉浸式体验。
为了展示LDM3D的潜力，英特尔和Blockade的研究人员开发了应用程序DepthFusion，通过标准的2D RGB图像和深度图创建沉浸式、交互式的360度全景体验。DepthFusion利用了TouchDesigner，一种基于节点的可视化编程语言，用于实时互动多媒体内容，可将文本提示转化为交互式和沉浸式数字体验。LDM3D是能生成RGB图像及其深度图的单一模型，因此能够节省内存占用和降低延迟。
LDM3D和DepthFusion的发布，为多视角生成式AI和计算机视觉的进一步发展铺平了道路。英特尔将继续探索如何使用生成式AI增强人类能力，并致力于打造一个强大的开源AI研发生态系统，让更多人能够使用AI技术。延续英特尔对开放AI生态系统的大力支持，LDM3D正在通过HuggingFace进行开源1，让AI研究人员和从业者能对这一系统作出进一步改进，并针对特定应用进行微调。
在2023年6月18日至22日举行的IEEE/CVF计算机视觉和模式识别会议上，英特尔将发表这项研究成果。欲了解更多信息，请参考论文《LDM3D: Latent Diffusion Model for 3D》2。
向上滑动阅览
©英特尔公司，英特尔、英特尔logo及其它英特尔标识，是英特尔公司或其分支机构的商标。文中涉及的其它名称及品牌属于各自所有者资产。
--END--
你也许想了解(点击蓝字查看)⬇️
➡️ OpenVINO™ DevCon 2023重磅回归！英特尔以创新产品激发开发者无限潜能
➡️ 5周年更新 | OpenVINO™ 2023.0，让AI部署和加速更容易
➡️ OpenVINO™5周年重头戏！2023.0版本持续升级AI部署和加速性能
➡️ OpenVINO™2023.0实战 | 在 LabVIEW 中部署 YOLOv8 目标检测模型
➡️ 开发者实战系列资源包来啦！
➡️
以AI作画，祝她节日快乐；简单三步，OpenVINO™ 助你轻松体验AIGC
➡️
还不知道如何用OpenVINO™作画？点击了解教程。
➡️
几行代码轻松实现对于PaddleOCR的实时推理，快来get！
➡️
使用OpenVINO 在“端—边—云”快速实现高性能人工智能推理
➡️
图片提取文字很神奇？试试三步实现OCR！
➡️
【Notebook系列第六期】基于Pytorch预训练模型，实现语义分割任务
➡️
使用OpenVINO™ 预处理API进一步提升YOLOv5推理性能
扫描下方二维码立即体验
OpenVINO™ 工具套件 2023.0
本文分享自微信公众号 - OpenVINO 中文社区（openvinodev）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
