[发明专利]局部特征耦合全局表征的图像分类方法

说明书

本发明公开了一种局部特征耦合全局表征的图像分类方法，所述方法包括训练部分和测试部分，其中，训练部分包括以下步骤：步骤1，建立网络模型；步骤2，提取训练集图片特征；步骤3，获得训练集图片特征图；步骤4，对网络参数进行优化调整。本发明提供的局部特征耦合全局表征的图像分类方法，显著增强了局部特征的全局感知能力和全局表征的局部细节；在相似的参数量和计算代价的情况下，能够一致地超过传统的CNN网络以及视觉Transformer网络的性能，对于图像识别具有重要应用价值。

技术领域

本发明属于图像分类技术领域，具体涉及网络结构设计、图像分类、目标检测以及实例分割，尤其涉及局部特征耦合全局表征的图像分类方法。

背景技术

卷积神经网络(CNN)有效地促进了计算机视觉任务的发展，例如图像分类、目标检测和实例分割，这在很大程度上归功于卷积计算，该运算以分层方式收集局部特征作为强大的图像表示形式。尽管在局部特征提取方面具有优势，CNN却难以捕获全局表示，例如视觉元素之间的远距离关系，而这对于高级计算机视觉任务而言通常至关重要。直观的解决方案是扩大感受野，但是这可能需要更密集但具有破坏性的池化操作。

最近，ViT(Vision Transformer)将转换器(Transformer)引入了视觉任务，它将每个图像分割成具有位置嵌入的小块来构造图片嵌入序列，并应用级联的Transformer层来提取参数化的矢量作为视觉表示。由于具有自注意力(self-attention)机制和多层感知器(MLP)结构，转换器可以反映复杂的空间变换和远距离特征相关性，从而构成全局表示。但是，转换器忽略了局部特征细节，这便降低了背景和前景之间的可辨别性。

目前常用的图像分类方法，其基网的表征学习能力不佳，对视觉任务的分割效果较差，因此，亟需提供一种能够同时考虑全局表征和局部特征的图像分类方法，以解决上述问题。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种局部特征耦合全局表征的图像分类方法，该方法建立了一种同时保留卷积神经网络和转换器分支的网络模型，且两个分支通过特征耦合单元进行特征的交互，实现了局部特征和全局表征的耦合，增强了网络模型的表征学习能力。本发明提供的局部特征耦合全局表征的图像分类方法，在相似的参数量和计算代价的情况下，能够一致地超过传统的CNN网络以及视觉Transformer网络，且在目标检测和实例分割等视觉任务中也能得到一致的提升，从而完成了本发明。

具体来说，本发明的目的在于提供以下方面：

第一方面，提供了一种局部特征耦合全局表征的图像分类方法，所述方法包括训练部分和测试部分，其中，

所述训练部分包括以下步骤：

步骤1，建立网络模型；

步骤2，提取训练集图片特征；

步骤3，获得训练集图片特征图；

步骤4，对网络参数进行优化调整。

第二方面，提供了一种局部特征耦合全局表征的图像分类系统，优选用于实施第一方面所述的图像分类方法，所述系统包括卷积神经网络单元、视觉转换器单元和特征耦合单元，其中，

所述卷积神经网络单元用于获得图像的局部特征，

所述视觉转换器单元用于获得图像的全局表征；

所述特征耦合单元，用于以交互的方式融合基于卷积的局部特征和基于自注意力的全局表征。

第三方面，提供了一种计算机可读存储介质，存储有局部特征耦合全局表征的图像分类训练程序，所述程序被处理器执行时，使得处理器执行第一方面所述的所述局部特征耦合全局表征的图像分类方法的步骤。