PCANet --- 用于图像分类的深度学习基准

原创
2014/06/07 16:10
阅读数 2.1W

前言

论文网站:http://arxiv.org/abs/1404.3606

论文下载地址:PCANet: A Simple Deep Learning Baseline for Image Classification?

论文的matlab代码(第一个就是):Matlab Codes for Download


本文的C++ 和 Scala 代码:https://github.com/Ldpe2G/PCANet


该文提出了一个简单的深度学习网络,用于图像分类,用于训练的图像的特征的提取包含以下步骤:

    1、cascaded principal component analusis  级联主成分分析;

    2、binary hashing 二进制哈希;

    3、block-wise histogram 分块直方图

PCA(主成分分析)被用于学习多级滤波器(multistage filter banks),

然后用binary hashing 和 block histograms分别做索引和合并。

最后得出每一张训练图片的特征,每张图片的特征化为 1 x n 维向量,然后用这些特征向量来训练

支持向量机,然后用于图像分类。


正文

训练过程

首先假设我们的训练图片的为N张,,每张图片大小为 m x n。


第一阶段的主成分分析

首先对每一幅训练图像做一个处理,就是按像素来做一个分块,分块大小为 k1 x k2。

上图解释什么事按像素分块,假设图像是灰度图大小为 5 x 5,分块大小为 2 x 2。

        

然后得到的分片矩阵大小是 4 x 16,按照上述计算公式可以得到。    

然后如果图像是RGB 图像,则首先将三个通道分开,每个通道都做上 诉的分片,得到的分块矩阵,

做一个竖直方向上的合并得到RGB图像的分块矩阵,则如果RGB图像大小为 5 x 5,分块大小2x2,

则得到的分块矩阵大小为 12 x 16。

需要注意的是按照论文的说法,分块的矩阵的列数为m*n,所以5x5矩阵的分块矩阵应该有25列,

但是从代码的实现上看,是按照上图的公式来计算的。


假设第 i 张图片,,分块后得到的矩阵为 ,然后对每一列减去列平均,得到

接着对N张训练图片都做这样一个处理,得到


c为分快矩阵的列数。


然后接着求解的特征向量,取前个最大的特征值对应的特征向量。

作为下一阶段的滤波器。数学表达为:

然后第一阶段的主成分分析就完成了。因为我将matlab代码移植到了opencv,所以对原来的代码

比较熟悉,这是结合代码来发分析的,代码实现和论文的描述有些不同。


第二阶段的主成分分析

过程基本上和第一阶段一样。不同的是第一阶段输入的N幅图像要和第一阶段得到的滤波器

分别做卷积,得到 L1 x N 张第二阶段的训练图片。

在卷积之前首先做一个0边界填充,使得卷积之后的图片和大小相同。

同样对每一张图片做分块处理,然后把由N张图片和L1 个滤波器卷积得到的图片的

分块结果合在一起,首先得到:

这是N张图片和其中一个滤波器卷积的分块结果。

然后将所有的滤波器输出合在一起:


但实际上在代码的实现上,同一张图片 对应的所有滤波器的卷积是放在一起的,

其实就是顺序的不同,对结果的计算没有影响。

然后求解的特征向量,取前个最大的特征值对应的特征向量。

作为滤波器。


哈希和直方图

然后就来到特征训练的最后一步了。

然后对每一幅第二阶段主成分分析的输入图片做以下计算:

每张图片和L2个滤波器分别进行卷积。H(.)函数表示将一个矩阵转换为一个相同大小的

只包含0和1的矩阵,就是原来元素大于0,则新的矩阵对应的位置为1,否则为0.

然后乘以一个权值再加起来。权值由小到大依次对应的滤波器的也是由小到大。

 

然后对矩阵,将其分成B块,得到的分块矩阵大小为 k1k2  x  B,

然后统计分块矩阵的直方图矩阵,直方图的范围是,

直方图矩阵大小为 2^L2  x  B。

然后将直方图矩阵向量化为行向量得到

最后将所有的链接起来

得到代表每张训练图的特征向量。


上图解释直方图统计:

然后训练的步骤就完成了。

接着开始支持向量机的训练和测试。


测试&结果

svm的核函数用的是线性核函数,论文的matlab用的是Liblinear

国立台湾大学的Chih-Jen Lin博士开发的,主要是应对large-scale的data classification。

然后opencv的svm的类型我选择了CvSVM::C_SVC,参数C设为1。

这是我将论文的matlab代码移植到opencv的测试结果,

用了120张图片作测试,精确度为65.5%,比论文中用同样的数据集caltech101,

得到的精度68%要差一点。


对SVM有兴趣的读者可以参考这位博主的文章:

支持向量机通俗导论(理解SVM的三层境界)



展开阅读全文
打赏
0
2 收藏
分享
加载中

引用来自“PACNet”的评论

??? Input argument "PCANet" is undefined.

Error in ==> PCANet_train at 31
if length(PCANet.NumFilters)~= PCANet.NumStages
运行时出现的错误,博主能给解答一下吗?非常感谢

引用来自“Ldpe2G”的评论

你自己改了代码吧

引用来自“PACNet”的评论

没有,我是下载的,想先运行试试,就出了问题

引用来自“Ldpe2G”的评论

Matlab代码我就不清楚了,你问原作者吧
好的,谢谢啊
2017/04/18 09:10
回复
举报
Ldpe2G博主

引用来自“PACNet”的评论

??? Input argument "PCANet" is undefined.

Error in ==> PCANet_train at 31
if length(PCANet.NumFilters)~= PCANet.NumStages
运行时出现的错误,博主能给解答一下吗?非常感谢

引用来自“Ldpe2G”的评论

你自己改了代码吧

引用来自“PACNet”的评论

没有,我是下载的,想先运行试试,就出了问题
Matlab代码我就不清楚了,你问原作者吧
2017/04/17 20:32
回复
举报

引用来自“makesnow”的评论

楼主,你好,我在matlab上运行是成功了,但是怎么去测试图片啊,文件里面本来就有了数据,但是怎么用自己的图片测试呢?
我想问一问,怎么运行的,直接运行train.m文件吗
2017/04/17 19:41
回复
举报

引用来自“PACNet”的评论

??? Input argument "PCANet" is undefined.

Error in ==> PCANet_train at 31
if length(PCANet.NumFilters)~= PCANet.NumStages
运行时出现的错误,博主能给解答一下吗?非常感谢

引用来自“Ldpe2G”的评论

你自己改了代码吧
没有,我是下载的,想先运行试试,就出了问题
2017/04/17 19:35
回复
举报
Ldpe2G博主

引用来自“PACNet”的评论

??? Input argument "PCANet" is undefined.

Error in ==> PCANet_train at 31
if length(PCANet.NumFilters)~= PCANet.NumStages
运行时出现的错误,博主能给解答一下吗?非常感谢
你自己改了代码吧
2017/04/17 19:32
回复
举报
??? Input argument "PCANet" is undefined.

Error in ==> PCANet_train at 31
if length(PCANet.NumFilters)~= PCANet.NumStages
运行时出现的错误,博主能给解答一下吗?非常感谢
2017/04/17 18:32
回复
举报

引用来自“Ldpe2G”的评论

引用来自“诗意的毛毛虫”的评论

引用来自“Ldpe2G”的评论

引用来自“诗意的毛毛虫”的评论

你好 你给的C++代码中前面两个文件的作用是啥啊,readme.md和.gitignore。谢谢楼主了。
没用的,创建github项目的时候它自动生成的

楼主 能告诉我你的QQ或者邮箱么,我还有很多地方看不懂,求指导
liangdepeng33@163.com

谢谢啦 ,有看不懂的地方我就给你发邮件了
2015/05/25 13:27
回复
举报
Ldpe2G博主

引用来自“诗意的毛毛虫”的评论

引用来自“Ldpe2G”的评论

引用来自“诗意的毛毛虫”的评论

你好 你给的C++代码中前面两个文件的作用是啥啊,readme.md和.gitignore。谢谢楼主了。
没用的,创建github项目的时候它自动生成的

楼主 能告诉我你的QQ或者邮箱么,我还有很多地方看不懂,求指导
liangdepeng33@163.com
2015/05/23 21:00
回复
举报

引用来自“Ldpe2G”的评论

引用来自“诗意的毛毛虫”的评论

你好 你给的C++代码中前面两个文件的作用是啥啊,readme.md和.gitignore。谢谢楼主了。
没用的,创建github项目的时候它自动生成的

楼主 能告诉我你的QQ或者邮箱么,我还有很多地方看不懂,求指导
2015/05/23 10:20
回复
举报
Ldpe2G博主

引用来自“诗意的毛毛虫”的评论

你好 你给的C++代码中前面两个文件的作用是啥啊,readme.md和.gitignore。谢谢楼主了。
没用的,创建github项目的时候它自动生成的
2015/05/20 22:48
回复
举报
更多评论
打赏
43 评论
2 收藏
0
分享
返回顶部
顶部