全连接层&目标函数

原创
2018/04/24 21:01
阅读数 322

640?wx_fmt=jpeg

敲黑板!本周PaddlePaddle正在进行栏目改版,周一至周五栏目拟定如下:

周一AI资讯

周二AI技术

周三FAQ问答

周四AI应用

周五AI趣谈

用AI一词既代表人工智能领域,希望内容可获得大家喜爱

改版期欢迎大家留言提出建议,一经采用可有礼物答谢!


640?wx_fmt=png

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分

小结部分将前述的基础理论篇的讲解附上,以便大家参考


640?wx_fmt=png

1
全连接层

如果说卷积层、汇合层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的特征表示映射到样本的标记空间的作用。

在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1 × 1 的卷积;而前层是卷积层的全连接层可以转化为卷积核为h × w 的全局卷积,h 和w 分别为前层卷积输出结果的高和宽。

以经典的VGG-16网络模型为例,对于224 × 224 × 3 的图像输入,最后一层卷积层(指VGG-16中的Pool5)可得输出为7 × 7 × 512 的特征张量,若后层是一层含4096个神经元的全连接层时,则可用卷积核为7 × 7 × 512 × 4096 的全局卷积来实现这一全连接运算过程,其中该卷积核具体参数如下:


% The first fully connected layer

filter_size = 7; padding = 0; strude = 1;

D_in = 512; D_out = 4096;

经过此卷积操作后可得1×1×4096的输出。如需再次叠加一个含2048个神经元的全连接层,

可设定以下参数的卷积层操作:


% The second fully connected layer

filter_size = 1; padding = 0; strude = 1;

D_in = 4096; D_out = 2048;


2
目标函数

全连接层将网络特征映射到样本的标记空间做出预测,目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中,交叉熵损失函数和ℓ2损失函数分别是分类问题和回归问题中最为常用的目标函数。



卷神经网络的基本部件

“端到端”思想

激活函数

卷积层

汇合层


*为了方便大家问题的跟进解决,PaddlePaddle采用Github Issue来采集信息和追踪进度。问题未解决可在Github0Issue上提问,或加入PaddlePaddle QQ社区进行交流,群号:432676488


640?wx_fmt=png

本文分享 CSDN - 飞桨PaddlePaddle。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部