[发明专利]一种联合结构相似性和类信息的图像分类方法

说明书

本发明公开了一种联合结构相似性和类信息的图像分类方法，在利用深度网络的结构特点上，提供一种新型深度学习方法—联合结构相似性和类信息的图像识别算法。并将该深度学习算法应用在手写数字识别和自然图像识别中，提出联合结构相似性与类信息的图像识别方法。该方法能能高效地提取小图像高层次信息；其次，该方法引入了联合度量损失和图像类别信息建立损失函数，度量损失通过计算图像高层次语义向量之间的相似性，最小化类内距离和类间距离与某一常数(通常为1)之差，不仅加快了网络的训练收敛速度，同时保持或者提高测试集图像的分类准确率。本发明简单且易于实现，提升图像识别性能的同时，也提高了网络的训练效率。

技术领域

本发明涉及深度学习、机器学习技术领域，涉及一种图像分类方法，特别涉及一种联合结构相似性和类信息的图像分类方法。

背景技术

自2012年Alex等设计卷积神经网络在ImageNet大规模图像分类比赛中获得冠军以来，深度学习在图像分类方面就不断取得新的突破。卷积神经网络通过分层的方式提取图像从低级别到高级别的信息，对图像的表示能力超过视觉词袋模型(bag of visualwords,BoVW)和局部聚集描述子向量(vector of locally aggregated descriptor,VLAD)等基于手工特征表示的方法。然而，针对特定大小的图像或者特定的数据集，需要设计特定的卷积神经网络才能获得指定任务下的良好性能。在图像分类中，由于计算机存储和计算速度的限制，为了能将卷积神经网络应用于实际任务中，以较少的参数和计算量获得较好的分类性能是当前卷积神经网络设计方面的研究重点。

在当前主流的卷积神经网络中，模型的参数大多都需要花费较大的存储空间，同时需要配置较好的计算设备(GPU)才能用于实际任务中。Simonyan等利用3×3的卷积核，提出了深层的卷积神经网络，在不使用池化操作情况下，产生多个小的卷积核，有效限制了参数的数量，在图像分类上获得了当时最好的效果。但其评估的代价比浅层网络更大。Szegedy等在网络的每一个卷积层利用大小不同，数量不等的卷积核卷积图像，以捕捉多样性的图片结构，提出GoogLeNet，同时也使得计算量激增。He等基于残差的思想，提出残差卷积网络，能训练非常深层的网络，但通常需要几周的时间进行训练。Christiany等基于GoogLeNet和残差网络的思想提出性能较好的Inception-ResNet网络。Gao等提出密集连接的卷积神经网络，将卷积神经网络当前的卷积层与其前面所有卷积层都建立连接，使得当前的卷积层可以利用前面卷积层的信息，减少网络的参数量，同时提升网络的性能，但训练过程中显存和计算量上稍显不足。Wang等基于视觉注意力思想提出残差注意力网络，通过注意力机制提高卷积神经网络的性能。

这些卷积神经网络的训练都是利用训练集图像及其对应的类别标签，基于softmax分类器训练网络。然而，对比softmax分类器，基于度量学习的思想，Weinberger等实现了更准确的k最近邻的分类。Zhang等联合度量学习和图像类标签实现了更好的细粒度特征表示，获得了更准确的细粒度图像分类结果。

卷积神经网络一般是对输入图像通过多层的多个卷积核和有限次数的下采样步骤，最终实现对图像的表示。然而，并不是网络的层数越多，每层的特征图越多，卷积神经网络的表现能力越好。如果层数太多，容易出现梯度消失现象，每层的特征图太多，容易陷入过拟合。同时，层数太多，每层的特征图数量也多，会导致网络太大，消耗过多的计算机内存，减慢计算速度。

性能合适的卷积神经网络才能被广泛用于实际中，一般而言，内容较复杂，包含信息较多的图像，需要采用较深的卷积神经网络，同时网络每层也需要设置较多的特征图，才能学到图像中所有的信息。对于内容较简单，包含信息较少的图像而言，在大网络上非常容易过拟合，导致在测试集上效果不好。

有鉴于此，有必要提供一种联合结构相似性和类信息的图像识别方法，以解决上述问题。

发明内容