随着人工智能不断进步的创造能力,AI生成内容(AIGC)技术已经成为设计行业的一大助力。本文将详细介绍相关的技术原理和细节以及它们在室内装修设计中的应用案例,为读者揭示如何利用AIGC技术打造多样且个性化的室内装修风格。
对于室内装修领域,AIGC技术开启了个性化和智能化设计的新篇章。过去,室内装修和设计往往受限于设计师的个人经验和客户的想象力,完成一套合格的室内装修方案往往需要数月的时间成本,且需要花费一笔不菲的设计费用。现在,依托于AIGC技术,计算机能够实现对不同艺术和设计风格的学习与模仿。最先进的AIGC技术只需要几分钟甚至数秒就能生成独特且精美的室内效果图。这种灵活性和效率的提升,不仅为客户提供了更满意的设计体验,也大大缩短了设计周期,节约了成本,推动室内装修行业向更加个性化、智能化的方向发展。
我们团队积累了大量的室内空间素材图片,包含了多种类别的设计风格。考虑到国内市场的需求,我们从这些图片中精心筛选出符合国人审美的高质量风格图片,包括现代风、中式风、北欧风、轻奢风以及新中式风等在国内市场的主流设计风格。基于这些高质量室内图片,我们训练了自己的家装图片生成大模型,用户能够根据自己想象中的装修效果输入对应的prompt,然后直观地见到他们梦想中的空间。我们还借助Lora技术和IP-Adapter技术等风格迁移技术,这些技术能够识别并模拟参考图片中各种设计元素如颜色、纹理、空间布局等,并将它们融入到新的设计中,可以生成更加自由和多样化的室内风格。
具体技术的介绍
在这里简单介绍一下与风格定制相关的AIGC技术,包括文生图技术、Lora方法以及IP-Adapter方法。
▐ 文生图
对于文生图技术,用户只需要需入一段描述文本 (prompt),模型就能根据prompt生成对应的图片。常用的文生图方法包括Stable Diffusion和DALL-E等技术。如下是Stable Diffusion的简单示意,首先对输入prompt进行编码,然后进行多次的扩散生成过程,最后解码得到生成的图片。
我们收集了大量高质量的家装图像-文本对,用于训练文生图大模型。我们的文生图模型支持用户输入详细的长文本prompt,并能够以高文本响应度生成精美的效果图。
示例:一个现代风格的客厅,采用中性色彩。房间内有一张白色沙发,上面装饰着各种图案的靠垫,旁边是一个带灯的边桌。沙发上方的墙上挂着三幅框画,每一幅都以独特的设计描绘了一朵花。房间的右侧还有一株高大的盆栽,沙发前是一张千鸟格图案的脚踏。地板铺着浅灰色的地毯,墙壁涂成柔和的灰色调。
▐ Lora
Lora是一种对大模型进行低成本训练的方法,在我们的应用中,主要用于低成本的训练个性化图像生成模型(如Dreambooth等)。作为文生图基模型的补充,Lora训练可以学习到若干张训练图片中的共有特征(如颜色、纹理、空间布局等),然后生成符合这些特征的图片。对于一些特定的风格,只用文本是很难进行描述的,而提供相应的图片就能更好的体现。训练好的Lora就相当于某一种特定风格的图片生成器。
示例:
▐ IP-Adapter
IP-Adapter方法是一种对预训练文生图模型的改进,在预训练文生图模型的基础上,对于Unet中的交叉注意力模块,针对图像特征,会添加一个额外的交叉注意力层,这样模型能够同时接受文本和图片作为prompt。同时IP-Adapter对文本和图像的交叉注意力进行了解耦,可以使图像与文本很好地结合,不互相干扰。
相较于Lora方法,IP-Adapter不需要针对每一种风格特别进行模型训练,因此需要的机器资源和时间成本更少。用户只需要提供一张参考图片,IP-Adapter就能提取出这张图片中的风格要素,体现在生成图片中,便捷度和自由度很高。此外,对IP-Adapter进行修改后还可以支持多张参考图片的输入。
▐ 极有家-真能造
真能造的目标人群是寻找硬装灵感和软装搭配的购物者,用户只需上传家中的精装或毛坯照片,AI即可在几秒内展示多种装修风格的概念图。
当用户上传家的照片后,首先会提取室内空间的结构信息,并使用contorlnet维持生成图片中的空间结构不变形,然后再结合Lora或者IP-Adapter技术生成用户想要的装修风格。这一功能帮助用户快速获得装修灵感,探索适合自家的高颜值商品搭配方案,有效提高家装购物决策的效率和满意度。
▐ 商品主图
对于家具商家,他们往往需要花费大量资源为自己的家具商品打造匹配的场景,这一过程耗时耗力。通过AI棚拍技术可以为商家降本增效,商家只需要提供商品的白底图,我们会首先分割出商品的主体,然后利用AIGC技术为商品生成多种风格的背景,精美写实的AI棚拍图可以作为商品主图,吸引顾客的注意力。
商品白底图 |
AI棚拍图 |
|
|
AIGC技术已经成为室内装修领域的一大革新力量,为个性化和智能化的室内设计带来了全新的可能。我们团队通过积累的大量室内空间素材图片,结合先进的Lora技术和IP-Adapter技术,成功打造了能够迅速生成多种装修风格图的家装AIGC大模型。对于购物者而言,它极大地丰富了用户的装修选择,使得寻找硬装灵感和软装搭配的过程更加便利和高效。对于家具商家而言,AI棚拍技术的应用更是实现了低成本高效率地生产出引人注目的商品主图,进一步提升了商品市场竞争力。未来,随着AIGC技术的不断进步和优化,其在室内装修以及更广泛设计领域的应用将更加广泛和深入,给用户带来更多惊喜和便利,推动整个行业的创新发展。
我们是淘天集团-场景智能技术团队,一支专注于通过AI和3D技术驱动商业创新的技术团队, 依托大淘宝丰富的业务形态和海量的用户、数据, 致力于为消费者提供创新的场景化导购体验, 为商家提供高效的场景化内容创作工具, 为淘宝打造围绕家的场景的第一消费入口。我们不断探索并实践新的技术, 通过持续的技术创新和突破,创新用户导购体验, 提升商家内容生产力, 让用户享受更好的消费体验, 让商家更高效、低成本地经营。