卷积神经网络的发展历程

原创
2018/03/28 23:32
阅读数 270

 深度学习基础理论-CNN篇 

卷积神经网络的发展历程

640?wx_fmt=png


- 01 -

卷积神经网络(Convolutional Neural Networks,简称CNN)是一类特殊的人工神经网络,区别于神经网络其他模型(如,递归神经网络、Boltzmann机等),其最主要的特点是卷积运算操作(convolution operators)。因此,CNN在诸多领域应用特别是图像相关任务上表现优异,诸如,图像分类(image classification)、图像语义分割(image semantic segmentation)、图像检索(image retrieval)、物体检测(object detection)等计算机视觉问题。此外,随着CNN研究的深入,如自然语言处理(natural language processing)中的文本分类,软件工程数据挖掘(software mining)中的软件缺陷预测等问题都在尝试利用卷积神经网络解决,并取得了相比传统方法甚至其他深度网络模型更优的预测效果。本文回顾卷积神经网络的发展历程。


- 02 -

卷积神经网络发展历史中的第一件里程碑事件发生在上世纪60年代左右的神经科学(neuroscience)中,加拿大神经科学家David H. Hubel和Torsten Wisesel于1959年提出猫的初级视皮层中单个神经元的“感受野”(receptive field)概念,紧接着于1962年发现了猫的视觉中枢里存在感受野、双目视觉和其他功能结构,标志着神经网络结构首次在大脑视觉系统中被发现。

640?wx_fmt=png 640?wx_fmt=png


图1Torsten Wisesel(左)和David H. Hubel(右)。因其在视觉系统中信息处理方面的杰出贡献,两人于1981年获得诺贝尔生理学或医学奖。


- 03 -

1980年前后,日本科学家福岛邦彦(Kunihiko Fukushima)在Hubel和Wiesel工作的基础上,模拟生物视觉系统并提出了一种层级化的多层人工神经网络,即“神经认知”(neurocognitron),以处理手写字符识别和其他模式识别任务。神经认知模型在后来也被认为是现今卷积神经网络的前身。在福岛邦彦的神经认知模型中,两种最重要的组成单元是“S型细胞”(S-cells)和“C型细胞”(C-cells),两类细胞交替堆叠在一起构成了神经认知网络。其中,S型细胞用于抽取局部特征(local features),C型细胞则用于抽象和容错,如图2所示,不难发现这与现今卷积神经网络中的卷积层(convolution layer)和汇合层(pooling layer)可一一对应。

640?wx_fmt=png 640?wx_fmt=png


图2 1980年福岛邦彦提出的神经认知模型


随后,Yann LeCuu等人在1998年提出基于梯度学习的卷积神经网络算法,并将其成功用于手写数字字符识别,在那时的技术条件下就能取得低于1%的错误率。因此,LeNet这一卷积神经网络便在当时效力于全美几乎所有的邮政系统,用来识别手写邮政编码进而分拣邮件和包裹。可以说,LeNet是第一个产生实际商业价值的卷积神经网络,同时也为卷积神经网络以后的发展奠定了坚实的基础。鉴于此,Google在2015年提出GoogLeNet时还特意将“L”大写,从而向“前辈”LeNet致敬。

640?wx_fmt=png 640?wx_fmt=png


图3 LeNet-5结构:一种用于字符识别的卷积神经网络。其中,每一个“矩形”代表一张特征图(feature map),最后是两层全连接层(fully connected layer)


- 04 -

时间来到2012年,在有计算机视觉界“世界杯”之称的ImageNet图像分类竞赛四周年之际,Geoffrey E. Hinton等人凭借卷积神经网络Alex-Net力挫日本东京大学、英国牛津大学VGG组等劲旅,且以超过第二名近12%的准确率一举夺得该竞赛冠军,霎时间学界业界纷纷惊愕哗然。自此便揭开了卷积神经网络在计算机视觉领域逐渐称霸的序幕,此后每年ImageNet竞赛的冠军非深度卷积神经网络莫属。直到2015年,在改进了卷积神经网络中的激活函数(activation function)后,卷积神经网络在ImageNet数据集上的性能(4.94%)第一次超过了人类预测错误率(5.1%)。近年来,随着神经网络特别是卷积神经网络相关领域研究人员的增多、技术的日新月异,卷积神经网络也变得愈宽愈深愈加复杂,从最初的5层、16层,到诸如MSRA提出的152层ResidualNet甚至上千层网络已被广大研究者和工程实践人员司空见惯。


不过有趣的是,图4为Alex-Net网络结构,可以发现在基本结构方面它与十几年前的LeNet几乎毫无差异。但数十载间,数据和硬件设备(尤其是GPU)的发展确实翻天覆地,它们实际上才是进一步助力神经网络领域革新的主引擎。正是如此,才使得深度神经网络不再是“晚会的戏法”和象牙塔里的研究,真正变成了切实落地可行的工具和应用手段。深度卷积神经网络自2012]年的一炮而红,到现在俨然已成为目前人工智能领域一个举足轻重的研究课题,甚至可以说深度学习是诸如计算机视觉、自然语言处理等领域主宰性的研究技术,同时更是工业界各大公司和创业机构着力发展力求占先的技术奇点。

640?wx_fmt=png 640?wx_fmt=png

图4 Alex-Net结构



 end


*欢迎在留言区分享您的观点  

*值班小Paddle:wangp

640?wx_fmt=png

本文分享 CSDN - 飞桨PaddlePaddle。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部