手绘草图生成逼真的人脸

原创
2020/06/05 13:56
阅读数 279

来自中国科学院和香港城市大学的一组研究人员介绍了一种local-to-global的方法,可以从简单的草图生成逼真的人脸。



虽然随着GANs技术的发展,从图像到图像的转换技术使得草图迅速生成人脸图像成为可能 。但是已存在的一些技术往往容易过拟合,导致生成的图像过度接近草图。因此草图要画得非常好 ,生成的图片才能得到好的效果。


与大多数基于深度学习的草图转换为图像的解决方案不同,之前的方案将输入草图作为固定的“硬”约束,然后尝试重建笔画之间丢失的纹理或阴影信息;而本文中的新方法关键思想是隐式学习从真实人脸素描图像中获得合理的人脸素描空间,并在该空间中找到最接近输入素描的点。由于此方法将输入草图更多地视为“软”约束来指导图像合成,因此即使来自粗糙或不完整的输入,它也能够生成具有更高真实性的高质量人脸图像。


模型的深度学习结构:

 

该系统由三个主要模块组成-CE (Component Embedding),FM (Feature Mapping)和IS (Image Synthesis)。 图中上半部分是CE模块。CE模块采用自动编码器架构,并从面部素描数据中分别学习了五个特征提取器,分别用于左眼,右眼,鼻子,嘴巴和其余部分的特征提取。


图中下半部分为FM和IS模块。FM模块解码CE模块提取的特征,把CE模块的五组特征上采样变成多通道的特征图类似(H ×W × 32)。然后把上采样后的特征图组合放到人脸图像中的对应位置,最后再传入IS模型中生成逼真人脸。


作者还提供了基于CE模块生成的素描,使用户可以更轻松地完成草图绘制。他们的系统可以产生跟草图相似的高质量的真实人脸图像(分辨率为512×512):

    

作者还对比了不同模型的生成效果:


作者的意思显然是想表明“除了我们的模型可以生成人以外,其他模型都只能产生鬼”。


论文《DeepFaceDrawing: Deep Generation of Face Images from Sketches》已经被SIGGRAPH2020接收,代码目前尚未发布,作者表示会尽快发布,大家可以关注。


公众号后台回复今天日期:200605,即可下载论文。



 想学AI点击下方阅读原文

👇

本文分享自微信公众号 - AI MOOC人工智能平台(AIMOOC_XLAB)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部