[发明专利]有效提升卷积神经网络稳健性的方法

说明书

本发明公开了一种有效提升卷积神经网络稳健性的方法，包括：在训练过程中，首先将输入的特征图进行二维变换后进行前向传递，前向传递过程时，对二维变换后的特征图进行分级的且基于块能量大小的块重排序操作；然后进行反向传递，反向传递过程时，将块排序操作后每个像素点的误差传递给排序前对应的像素点；在测试过程中，采用训练过程的方式，将输入的特征图进行二维变换后进行分级的且基于块能量大小的块重排序操作。该方法在没有引入新的参数或者对输入图像做额外的处理下，可以有效提升卷积神经网络稳健性。

技术领域

本发明涉及图像分类，图像检索等技术领域，尤其涉及一种有效提升卷积神经网络稳健性的方法。

背景技术

在互联网高速发展的今天，尤其是图像视频的普及，使得我们每时每刻都需要进行图像识别和检索。近些年来深度学习技术在图像识别的相关领域取得了突破性的进展，已经极大地超越了传统算法的性能，识别的准确性得到了大大地提升。深度学习中进行图像识别主要采用的模型为卷积神经网络，该模型主要包含了卷积和池化两个操作，通过这两种操作搭建一个逐层叠加的深度神经网络，实现从局部到全局，具体到抽象的逐层语义提取，最终得到的高层抽象语义特征对于图像分类和检索等图像识别相关任务非常有用。

现有的卷积神经网络结构对于图像的变换不是特别稳健，比如，图像经过旋转、平移等二维变换之后，再通过卷积神经网络进行特征表达，我们会发现其提取出来的高层特征差异会非常大，直接导致识别准确率和稳健性急剧下降。

为了提高卷积神经网络对于图像变换的稳健性，特别是比较大尺度的、全局的变换，现有的算法主要有三种。

第一种是在训练过程中，人为地对图像进行多种不同的变换以产生更多的训练样本，然后将人为变换之后的样本加上原来的样本一起输入卷积神经网络进行训练，这样一来，增加了样本的多样性，使得卷积神经网络对于图像的变换有更充分的学习。

第二种方法是对于卷积神经网络的每一层卷积层的输出(我们称之为特征图)进行多个尺度的平移或者多角度的旋转，然后将这些变换产生的结果进行综合，然后再继续传递给下一层。

第三种方法是在将图像输入到卷积神经网络去之前，首先用另外一个专门的神经网络来学习图像的合理变换，将图像先根据学到的变换进行逆变换操作，使之处于一个更加正常，更加容易辨别的变换尺度上，如此也能获得效果的提升。

上述三种算法在学习模型的过程中，为了提升稳健性，要么引入新的特征提取模块，要么增加新的学习参数，要么需要对输入的图像做额外的处理，这就使得在大规模的图像处理中，复杂度特别高，而且在把训练好的模型应用到新问题上的时候，其泛化能力也会受到影响。

发明内容

本发明的目的是提供一种有效提升卷积神经网络稳健性的方法，在没有引入新的参数或者对输入图像做额外的处理下，可以有效提升卷积神经网络稳健性。

本发明的目的是通过以下技术方案实现的：

一种有效提升卷积神经网络稳健性的方法，包括：

在训练过程中，首先将输入的特征图进行二维变换后进行前向传递，前向传递过程时，对二维变换后的特征图进行分级的且基于块能量大小的块重排序操作；然后进行反向传递，反向传递过程时，将块排序操作后每个像素点的误差传递给排序前对应的像素点；

在测试过程中，采用训练过程的方式，将输入的特征图进行二维变换后进行分级的且基于块能量大小的块重排序操作。

所述进行分级的且基于块能量大小的块重排序操作包括：

块重排序操作时的分级是针对同一个卷积层的每一个特征图独立进行，同一卷积层中，对于上一级输出的特征图，下一级均将特征图中每一个小块再细分成n×n个同等大小的子块，下一级的重排序操作仅在每一小块内的子块中独立进行，其中，n为预设的超参数；