图像素描风格生成

原创
2016/05/19 18:16
阅读数 2.3K

前言

论文链接:Combining Sketch and Tone for Pencil Drawing Production

Matlab版本的代码,目前找到有两个:

1、https://github.com/fumin/pencil

2、https://github.com/candycat1992/PencilDrawing 

效果看起来第二个要好,而且写的代码非常简洁。

我实现了Scala的版本(有一小部分用到了python),基于第一个Matlab版本的代码:

https://github.com/Ldpe2G/Pencil-Drawing-Scala

其实是差不多实现完了才发现了第二个版本的matlab代码,后面会看看能否作些改进。

正文

首先看看从论文中截取的素描风格生成框架图

 

 

 

 

 

 

 

 

 

 

主要是两大步组成,模拟画家画素描画的两个步骤

1,Line Drawing,先画线,描轮廓;

2,Tone Drawing 再加上色调,比如阴影。

下面详细介绍两个步骤。

1. Line Drawing

首先来看看一幅图:

左边是画家画的一幅素描画,右边是放大细节部分。通过观察我们可以发现,画家在画

边的时候,都是用一段一段的线段组合起一幅画的。基于这个事实,文章提出了一种模拟

素描画边的方法。主要也是分两步走。

 

1.1 Classification

首先将输入图片转为灰度图,然后通过前向差分,分别计算x,y方向的梯度,再根据以下公式

计算大小:

公式中的   表示输入图片的灰度图,实现上我是用Prewitt’s operator来计算梯度的,也试过

Sobel operator,效果差不多。

在模拟素描画线的难点在于估计每个像素点的画线方向,比较简单的方法是根据梯度方向,

但是会很容易受噪声的影响,而在文章中则提出了一个更加鲁棒的策略。

首先生成8个方向的线段(卷积核),

                       

然后分别和G作卷积:

然后通过得到的相应图Gi来分类像素点,i (1~8):

p代表原图像素点的索引。根据公式3,我们可以知道

文章中声称以上的方法能对抗各种的噪声。

 

1.2 Line Shaping

获得Ci之后,首先和对应的线段卷积核作卷积,然后再加起来:

通过卷积操作可以聚集附近同一个方向的像素点,这样就可以把边原图上边上的像素点连起

来。最后的结果就是把S‘的像素值反转,然后再映射到 [0, 1] 区间。就得到结果了。

用scala代码跑的结果作演示:

  

2. Tone Drawing

这一步这要就是模拟画家用铅笔上色的过程,这需要利用道原始灰度图的信息。

我们首先来看一张图:

左边是自然场景图片和对应的像素值直方图,右边是素描画和对应的直方图。

可以看到直方图的分布是很不一样的。因此原图像的色调是不能直接用在色调生成上的。

然后文章中提出了一种参数化模型来解决这个问题。

2.1 Model-based Tone Transfer

文中提出了一个模型来表示色调分布:

v 表示色调值,然后 p(v)表示这个像素是用色调值v来表示的概率。Z是正则化因子。

三个 pi(v) 分别代表在素描画中的三个不同的色调层,ω 代表权值,形象的理解可以看作是

对应的色调的像素值的个数。再来看一幅图:

(a)是一幅素描画,然后 (b),是把像素值分成三类的结果,绿,橙,蓝分别代表 深,中,浅

三种色调。(c)对应的三种色调的直方图。分析结果就是,自然图像和素描画的最大的区别

就是素描画空白的区域更大,亮度更高。

然后三中色调对应三个公式来表示:

然后就是如何求解公式中的参数了。

2.2 Parameter Learning

权值 ω 由每个色调层的像素个数决定。然后对每层的参数采用最大似然估计的方式来求解。

每层的像素值的均值和标准差表示为m和s。参数可以近似的表示为:

    

xi代表像素值,N表示每层像素值的个数。

然后学习到的参数如下:

但是其实在matlab代码的实现上,对于权值 ω的设定和三个公式的实现,并不是完全呀按照

论文中的定义来实现的,我做了不少实验来调节参数然后看结果,发现还是得按照matlab

代码的设定才能最大程度复现论文的结果,所以应该还有有哪里一些细节没处理好。

然后学习到参数之后,对于每一张新的输入图像,通过直方图匹配的方法来修正灰度图的

像素值,也就是用输入图像的灰度图的直方图去匹配素描画的直方图。

2.3 Pencil Texture Rendering

做完直方图匹配之后,原图的像素值分配就比较接近素描画的了,但是还不能直接就用这个

修正的灰度图和上一步生成的描边直接组合,还需要模拟一下素描画的纹理。如何生成

这个纹理是一个很难解决的问题。

文章中生成他们收集了20张左右的素描纹理图来做实验,matlab的代码中提供了3张:

    

每个输入图片只需要一张即可。在画家作画的时候,色调的生成就是在某处重复的画。

模拟的方法直观的理解就是,通过将纹理图作乘法。。这个  就是我们要

求解的。越大则得到的得到色调越深。通过求解以下公式可以得到

其实怎么在代码上去实现求解我是想不到的,但是好在matlab的代码实现了求解,

最后其实是在求解一个非常大的线性方程组,不过矩阵都是非常稀疏的。至于怎么能那么

实现,到目前为止我还是没看懂,不过直接把matlab的代码移植到scala还是没问题的。个

人感觉复现过程中最难的部分也就是这里了,我尝试了很多java/scala的矩阵库

(la4j, mtj, colt等等),速度上都不满意,最终发现 breeze是速度上最接近matlab的,

但是在求解稀疏矩阵相关的线性方程组的时候,breeze还不支持,最后实在没办法了,

只能把这部分求解的实现放到python中去做,用scipy这个库来解决,由此可以看到,

scala在做科学计算上还是,比不上python。最后用了一种比较low的方法,在代码中调用

python的脚本,然后再把脚本的结果读取上来。

 

ok,回到正题,得到之后,模拟素描画色调纹理的图就可以得到了:

    

最终的结果就是把色调和轮廓结合起来,用一个矩阵的点乘操作即可:

 

3 Color Pencil Drawing

然后文章还做了一些拓展,比如如何给素描画上色,就是比如把RGB转换到YUV空间,

然后把Y通道拿出来,经过之前的步骤来生成素描画,再把它放回到Y通道上,最后再

重新转换成RGB即可。

然后文章剩下的部分就是一些结果展示和对比试验结果,想深入了解的话可以去看看paper。

4 复现结果展示

最后展示一下用scala代码生成的一些素描图,只能说勉强复现了论文的方法。

展示格式,左上角原图,左下角素描轮廓图,右下角,素描图或彩色素描图。

       

  

 

 

 

 

5 参考资料

[1] http://stackoverflow.com/questions/12636896/how-to-solve-a-linear-system-of-matrices-in-scala-breeze

[2] http://statr.me/2015/09/an-overview-of-linear-algebra-libraries-in-scala-java/

[3] http://stackoverflow.com/questions/7086820/convert-rgb-to-ycbcr-c-codehttps://en.wikipedia.org/wiki/Edge_detection

[4] https://en.wikipedia.org/wiki/Edge_detection

[5] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.301.927&rep=rep1&type=pdf

 

展开阅读全文
打赏
3
4 收藏
分享
加载中
你现在还研究MXnet框架吗?
2017/08/11 15:43
回复
举报
更多评论
打赏
1 评论
4 收藏
3
分享
返回顶部
顶部