重拾旧时光——Bringing-Old-Photos-Back-to-Life

10/05 07:53
阅读数 447

Bringing-Old-Photos-Back-to-Life项目简介



  最近在公众号看到有关Bringing-Old-Photos-Back-to-Life的内容,觉得很有意思,可以将模糊的,褶皱的照片相应的还原,在这里插入图片描述
重拾旧时光的回忆,所以自己尝试一下。


  这个开源的项目在github上可以找到,这里给出项目地址Bringing-Old-Photos-Back-to-Life。这个项目是有关于模糊,褶皱照片的修复的算法,是基于2020微软最新的一篇CPVR的文章,原理简单来说就是用变分自动编码机(VAE)将图像变换到隐藏空间,并在隐空间进行图像恢复操作在这里插入图片描述




Bringing-Old-Photos-Back-to-Life项目资源下载与配置

  该项目包含了测试训练集和资源包,所以先下载该项目,项目地址
https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
项目也依赖于Synchronized-BatchNorm-PyTorch,文章中也给出了我们配置教程,所以按照教程来配置即可。

  第一步,克隆项目,即下载压缩包并解压

git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git



  第二步,配置环境,进入项目的目录下

cd Face_Enhancement/models/networks
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../
cd Global/detection_models
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../

然后下载相应的组件

cd Face_Detection/
wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../
cd Face_Enhancement/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
unzip checkpoints.zip
cd ../
cd Global/
wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip
unzip checkpoints.zip
cd ../

安装依赖项

pip install -r requirements.txt

  更详细的教程可以查看Colab中的内容。


Bringing-Old-Photos-Back-to-Life的使用和相关问题的解决

  对于没有裂痕的图片的修复可以是用这个代码,进入项目文件的目录下

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0

其中[test_image_folder_path]是想要修复的图片的目录地址,[output_path]是结果存放的地址,同时这些地址路径要是绝对路径

  如果是有裂痕的图片,代码有所不同

python run.py --input_folder [test_image_folder_path] \
              --output_folder [output_path] \
              --GPU 0 \
              --with_scratch

  当然文章中给出的代码我在实际运行的情况中还是会出现问题的,这里我对我遇到的问题和相应简单的解决办法进行介绍:

  在对没有裂痕的图片进行修复的时候出现在这里插入图片描述
这里我们可以将Face_Enhancement \ test_face.py中的第40行的代码img_name = img_path[b].split("/")[-1]改为img_name = os.path.split(img_path[b])[-1]问题可以解决。

  该算法的运行实现对GPU的内存很挺高的要求,对于处理高像素的图片,我出现过Skip当前图片的提示,还有CUDA out of memory. Tried to allocate 78.00 MiB (GPU 0; 7.43 GiB total capacity; 6.42 GiB already allocated; 88.94 MiB free; 6.75 GiB reserved in total by PyTorch)这样的报错,主要问题还是内存处理不够,GPU同时处理不了这些操作,为了简单方便,所以我就从输入上,将要处理的图片的像素都先缩放至我电脑可以处理的像素要求,这样可以使算法相应的工作。

  对于处理没有裂痕的图片的操作,我们可以将Global \ test.py中的data_transforms函数中的

h = int(round(oh / 4)*4)
w = int(round(ow / 4)*4)

直接修改为我们想要输入的图片缩放成能处理的像素大小,比如我这里就修改为

w = 450
h = 450

将原始输入图片缩放为450 x 450的像素,即可以正常运行(虽然结果会有点不太好看)。

  对于处理有裂痕的图片,我们可以将Global \ detection.py中ata_transforms函数中if full_size == "full_size"中的

h = int(round(oh / 16) * 16)
w = int(round(ow / 16) * 16)

改为

h = 256
w = 256

这样缩放为256 x 256像素的图片。


  处理完问题后,我们可以来测试一下,我们先对项目给出的图片进行测试。


  对于没有裂痕的图片的处理(这里仅放出部分)

修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述
由于调整了像素,所以与原图有所出入,但是图片的清晰程度增加了,我们也可以试试自己的图片,我在网上找了几张图:



修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述




  对于有裂痕的图片的处理

修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述


修复前
在这里插入图片描述
修复后
在这里插入图片描述


同样,我们可以将自己的图片的进行修复,比如我找到的一张:

修复前
在这里插入图片描述
修复后
在这里插入图片描述




总结
  怎么样,是不是觉得这个算法很有意思,那就找出那些照片来修复,重拾那些美好的旧时光,同时,有条件的伙伴可以提高电脑的配置,来修复更高像素的图片。


展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部