[发明专利]一种应用于深度卷积神经网络中的特征提取方法

说明书

本发明提出了一种应用于深度卷积神经网络中的特征提取方法。在本发明中，首先对局部待卷积数据进行线性运算，将得到输出结果再通过非线性激活函数激活输出。将激活后的输出值再次作为上述的局部待卷积数据并重复进行上述操作(至少一次)来实现线性运算和非线性激活函数的迭代。最后结合使用卷积运算中的滑动计算，来遍历所有的待卷积数据得到本算法特征提取的结果。本发明原理简单，易于使用现有的框架来快速实现并作加速计算，同时可以和目前已有的一些技术重叠使用。

1.应用领域

本发明涉及卷积特征提取方法的问题，特别涉及基于深度卷积神经网络的特征提取方法。

2.背景技术

近年来，各类深度神经网络模型层出不穷，这些模型的提出使得深度学习在图像、音频、自然语言等领域的发展有了突破性的进展。其中卷积运算几乎成为了深度神经网络在图像领域处理的基石，通过卷积层、池化层、归一化层等进行堆叠，使得网络具有足够的深度，从而能够处理复杂的图像任务。同时，硬件计算能力的提升，GPU并行计算的兴起，深度学习模型的规模也越来越大。因此，为了能够使得网络能够高效的利用参数，模型的结构设计一直是深度学习领域研究的重点，但是这些设计都是基于图像卷积操作来实现。

卷积是通过部分覆盖范围内的周围单元产生响应，来从大型图像中图取出所关注的特征图样。这个过程类似于大脑皮层中用于局部敏感和方向选择的神经元，这种独特的网络结构可以有效地降低反馈神经网络的复杂性。同时，在计算上，卷积操作可以通过滑动来对同一图像的不同局部单元共享卷积操作的参数。因此，相比于全连接网络，卷积极大地节约了参数，节省了计算资源。但是，卷积操作的数学本质即为一个线性的变换提取，例如f(x)＝wx+b。线性的提取方式无法提取出非线性的特征，因此在提取高阶非线性特征时，传统卷积操作只能采用多个卷积核的堆叠来提取高阶非线性特征的低级线性表示图样组合。

总的来说，虽然卷积层公认为是有效的，但是其低级特征提取的特性，使得卷积无法真正理解或抽象出高阶的、有效的特征。在深度学习的发展过程中，越来越多的模型被提出用于克服在大规模卷积运算中暴露出的低效、难以传播、不易训练等问题。不久前神经网络之父Geoffrey Hinton提出了Capsules用于将标量的卷积核扩充到向量，增强其表示能力。逐步会有更多的人关注特征提取算法的革新。本文提出一种新的特征提取算法将卷积的线性运算扩充到非线性运算来增强卷积提取高阶特征的能力。

理论上，至少具备一层隐含层的神经网络能够拟合任意函数，被称之为深度神经网络。因此，全连接神经网络自身是一个结构简单的非线性函数拟合器。通过对对神经网络的不断训练，最终可以在一个局部最优处拟合目标函数。由此可以启发我们借助神经网络的非线性拟合的思想来提出一种新的非线性的特征提取算法，该算法使得卷积操作具有非线性高阶特征提取的能力。

3.发明内容及特征

本发明提出了一种用于深度卷积神经网络中的特征提取方法。

本发明中，将卷积视为一个不含隐含层的神经网络。改进原有的卷积操作，向该神经网络添加隐含层，使其由不含隐含层的线性变换，改进为含有至少一层隐含层的非线性变换，从而实现对高阶特征的非线性提取。此外，滑动卷积、参数共享等方法与特性和传统卷积保持一致。因此，不会影响到高层模型的设计与优化算法的应用。

单个神经单元卷积的具体步骤如下：

a)待卷积数据记为W，隐藏层卷积核数目为U，参数为w_i，i∈{1,2,…U}。

b)卷积核与卷积数据对位元素X相乘，再加上偏置b，即f(x)＝w_iX+b_i。

c)逐元素经过非线性激活函数X：＝g(f(X)),将输出值重新赋给X。

d)选择下一个卷积核，参数为w_i+1，重复b)到d)的操作U次。