深度学习综述及其优缺点分析

发表时间:2019/9/27   来源:《知识-力量》2019年10月43期   作者:尚楠 卢茜君
[导读] 深度学习作为当前信息处理领域的研究热点,目前在医疗、教育、图像处理等领域都展示出了惊人的潜力,本文主要就深度学习常见的卷积神经网络算法,从其各层的基本结构(主要是输入层、卷积层、激励层、池化层、全连接层)进行了简单的介绍,同时对卷积神经网络算法的优缺点进行了讲解。
(北京理工大学计算机学院,北京市 100081)
摘要:深度学习作为当前信息处理领域的研究热点,目前在医疗、教育、图像处理等领域都展示出了惊人的潜力,本文主要就深度学习常见的卷积神经网络算法,从其各层的基本结构(主要是输入层、卷积层、激励层、池化层、全连接层)进行了简单的介绍,同时对卷积神经网络算法的优缺点进行了讲解。
关键词:卷积神经网络;深度学习;优缺点

 
            引言
            卷积神经网络(CNN)发展自神经网络模型,传统神经网络并不适合处理图像等数据,因为传统神经网络中神经元与相邻层上的神经元均有连接,这就意味着处理图像等数据是会遇到大量的计算、或设置大量的参数。为了解决这些问题,卷积神经网络诞生了。
            卷积神经网络主要分为以下几层:输入层、卷积层、激励层、池化层、全连接层。
            1 各层介绍
            1.1 输入层
            输入层对数据做一些处理,比如去均值(把输入数据各个维度都中心化为0,避免数据过多偏差,影响训练效果)、归一化(把所有的数据都归一到同样的范围)、PCA降维等等。
            1.2 卷积层
            对图像和滤波矩阵做内积的操作就是所谓的“卷积”操作。在进一步阐释卷积操作前,先说明几个重要参数:①深度:神经元个数,决定输出的depth厚度。同时代表滤波器个数;②步长:决定滑动多少步可以到边缘;③填充值:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,使总长能被步长整除。
            对图片数据,颜色分为RGB三个通道,分别对应矩阵的第三维三层。下图中卷积神经元有两个(亦即两个滤波器),数据窗口步长为2,填充值为1。那么如何得到最右侧的输出呢?
 
            将标注为深蓝色的3*3矩阵与滤波器对应的通道3*3矩阵做内积相乘(即相同位置的数字相乘),再将所得内积相加,最后加上偏置Bias b0的值(这个Bias b0我没研究清楚,大概是由于类似于数学模型y=ax+b,类比a为滤波器,x为输入数据),即可得到如图第一个输出矩阵的(1,1)元素。
            由于步长为2,将深蓝色框整体右移2格,这样再计算内积,得到右侧第一个输出矩阵的(1,2)元素。依次进行下去,直到两个滤波器的计算全都结束,得到最后的输出结果。
            1.3 激励层
            梯度下降中,sigmoid容易饱和、造成终止梯度传递,且没有0中心化。所以CNN的激励层选用的是ReLU函数进行激励。
            ReLU函数其实是分段线性函数,把所有的负值都变为0,而正值不变,这种操作被成为单侧抑制,这使得神经网络中的神经元也具有了稀疏激活性,因为它不存在梯度消失问题,使得模型的收敛速度维持在一个稳定状态,当模型增加N层之后,理论上ReLU神经元的激活率将降低2的N次方倍ReLU。实现稀疏后的模型能够更好地挖掘相关特征,拟合训练数据。
            1.4 池化层
            在卷积神经网络中,没有必要一定就要对原图像做处理,而是可以使用某种“压缩”方法,这就是池化,也就是每次将原图像卷积后,都通过一个下采样的过程,来减小图像的规模。
            1.5 全连接层
            全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积,h和w分别为前层卷积结果的高和宽。
            2 优缺点
            2.1 优点
            (1)共享卷积核,对高维数据处理无压力
            (2)无需手动选取特征,训练好权重,即得特征分类效果好
            (3)通过减少与上层神经元的连接减少了很多参数及计算量
            (4)一组连接可以共享同一个权重,而不是每个连接有一个不同的权重,这样又减少了很多参数
            2.2 缺点
            (1)需要调参,需要大样本量,训练最好要GPU
            (2)物理含义不明确(不知道没个卷积层到底提取到的是什么特征,而且神经网络本身就是一种难以解释的“黑箱模型”)
            (3)可能面临“平移不变性”:稍微改变同一物体的朝向或位置,可能并不会激活那些识别该物体的神经元。
            (4)池化层可能导致一些有价值的数据丢失。
参考文献
[1]https://zhuanlan.zhihu.com/p/47184529
[2]http://cs231n.github.io/convolutional-networks/#overview
[3]https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
[4]https://blog.csdn.net/v_JULY_v/article/details/51812459
[5]Survey of convolutional neural network 李彦东 郝宗波 雷航.
 
 
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: