[发明专利]图像分类网络中基于信息瓶颈算法的图像分类方法

说明书

本发明公开一种图像分类网络中基于信息瓶颈算法的图像分类方法，主要解决现有技术中网络结构复杂、未在训练过程中充分利用深度学习网络的高层特征的问题，其实现步骤为：生成干净样本集；构建图像分类网络；通过训练图像分类网络得到训练好的模板网络；生成对抗样本集；利用信息瓶颈算法构建总代价损失函数；训练图像分类网络得到目标网络；对待分类的图像进行分类。本发明利用图像分类网络中特征提取层的输出获取模板高层特征、干净高层特征与对抗高层特征迭代优化图像分类网络，利用信息瓶颈算法构建了总代价损失函数，可用于对自然图像中的目标进行分类识别。

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种在图像分类网络中基于信息瓶颈算法的图像分类方法。本发明可用于对自然图像中的目标进行分类识别。

背景技术

图像分类网络中最经典的网络是ResNet，ResNet通过引入“跳跃连接”有效地缓解了神经网络训练中的梯度消失问题，训练出的图像分类网络在图像分类任务中能够取得高准确率。但图像分类网络实际上相当脆弱，当输入图像被添加了人眼无法分辨的微小的扰动后，会导致网络产生高置信度的误判。这种含有微小扰动且能干扰网络正常工作的输入被称为对抗样本。

南京航空航天大学在其申请的专利文献“一种基于图像预处理与对抗训练结合的防御对抗样本的方法”(申请号：CN202011383582.8，申请公布号：CN112560901A)中公开了一种图像分类网络中基于图像预处理与对抗训练结合的图像分类方法。该方法的实现方案是：将原始图像和对抗样本分割为小块，进行DCT变换，并对原始图像应用不同压缩比进行压缩得到不同的数据集，再添加噪声作为训练对抗样本与原始图像一同构成训练数据集，最终将该训练数据集输入图像分类网络中进行训练，从而提高网络对对抗攻击的图像分类准确率。但是，该方法仍然存在的不足之处是：该方法中仅通过图像预处理的方式进行对抗训练，仅对输入进行修改，而修改输入造成网络高层特征的改变被忽视了，缺少了网络高层特征中的信息，图像分类网络将无法获得对抗样本与干净样本之间的联系，导致图像分类网络对图像分类错误。

Kolchinsky在其发表的论文“Nonlinear Information Bottleneck”(InEntropy,2019)中提出了一种图像分类网络中基于变分自编码器的图像分类方法。该方法在图像分类网络中加入了变分自编码器结构对图像分类网络的高层特征进行编码，并使用变分推理构造优化目标的下界后利用干净样本进行对抗训练，使图像分类网络在训练时能够更快地收敛，同时使输入更难通过信息瓶颈传递细小的扰动，从而提高网络对对抗攻击的图像分类准确率。但是，该方法仍然存在的不足之处是：该方法在图像分类网络中添加了变分自编码器结构，变分自编码器对高层特征进行编码时生成了大量的正态分布数据，会在训练中的计算产生大量冗余数据，同时使图像分类网络的结构复杂。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种在图像分类网络中基于信息瓶颈算法的图像分类方法，旨在解决现有技术在对抗训练过程中网络的结构复杂、未在训练过程中充分利用图像分类网络的高层特征的问题。

实现本发明目的的思路是：本发明直接通过图像分类网络中特征提取层的输出获取图像分类网络的高层特征矩阵，无需在图像分类网络中添加额外的结构，规避了现有技术在对抗训练过程中网络的结构复杂的问题。使用KL散度损失函数分别计算干净高层特征与模板高层特征的散度、对抗高层特征与模板高层特征的散度，将上述两个散度引入信息瓶颈算法后构建了总代价损失函数，对图像分类网络进行训练，直至该网络的损失函数收敛，使图像分类网络学到对抗样本与干净样本之间的联系，对干净样本与对抗样本都能分类正确。以此解决现有技术未在训练过程中充分利用图像分类网络的高层特征的问题。

本发明的实现步骤如下：

步骤1，生成干净样本集：

根据待分类图像的任务选取至少2种类别、每种类别至少5000张图像组成干净样本集，将每张图像以与图像大小相同维度的矩阵的形式呈现；