[发明专利]局部特征耦合全局表征的图像分类方法

权利要求书

1.一种局部特征耦合全局表征的图像分类方法，其特征在于，所述方法包括训练部分和测试部分，其中，

所述训练部分包括以下步骤：

步骤1，建立网络模型；

步骤2，提取训练集图片特征；

步骤3，获得训练集图片特征图；

步骤3包括以下子步骤：

步骤3-1，卷积神经网络分支获得初始特征图；

所述初始特征图由卷积神经网络分支的第一个卷积块的瓶颈模块进行卷积处理得到，每个卷积块具有2个瓶颈模块；

步骤3-2，视觉转换器分支获得第一层的全局表征；

步骤3-3，卷积神经网络分支和视觉转换器分支之间进行特征耦合，

步骤3-3包括以下子步骤：

步骤3-3-1，卷积神经网络分支利用初始特征图得到中间特征图；

所述卷积神经网络分支的第二个卷积块的第一个瓶颈模块利用初始特征图得到中间特征图，经过了整个瓶颈模块的特征图则被传递给卷积神经网络分支第二个卷积块的第二个瓶颈模块；

步骤3-3-2，中间特征图转换为块嵌入；

步骤3-3-3，视觉转换器分支对块嵌入进行处理；

视觉转换器分支将中间特征图转换为的块嵌入与步骤3-2中第一个视觉转换器层获得的块嵌入合并相加，实现全局表征和局部特征的融合；

步骤3-3-4，将处理后的块嵌入转换为特征图；

步骤3-3-5，卷积神经网络分支将步骤3-3-4获得的特征图进行处理，获得优化特征图；

卷积神经网络分支将步骤3-3-4获得的特征图与步骤3-3-1中经过整个瓶颈模块获得的特征图合并相加，实现局部特征和全局表征的耦合；

卷积神经网络分支的第一层和视觉转换器分支的第一层不进行交互，从两个分支的第二层开始直至最后一层，通过特征耦合单元作为桥接结构，以交互的方式连续地消除两个分支捕获的特征之间的语义差异，从而增强局部特征的全局感知能力和全局表征的局部细节；

步骤4，对网络参数进行优化调整。

2.根据权利要求1所述的方法，其特征在于，步骤1中，所述建立的网络模型包括卷积神经网络分支和视觉转换器分支，

所述卷积神经网络分支和视觉转换器分支通过特征耦合单元消除彼此获得特征之间的语义差异。

3.根据权利要求1所述的方法，其特征在于，步骤2中，所述网络模型还包括启动模块，其用于提取训练集图片的特征，

所述启动模块包括一个卷积层、一个批归一化层、一个非线性激活层和一个最大池化层。

4.根据权利要求1所述的方法，其特征在于，步骤3-3-2中，所述中间特征图通过特征耦合单元转换为块嵌入，包括以下步骤：

（i）对齐中间特征图的通道维度；

（ii）对齐中间特征图的空间维度；

（iii）将经过上述处理的中间特征图转换为块嵌入。

5.根据权利要求1所述的方法，其特征在于，在步骤3-3-5之后，还包括

步骤3-3-6，依次循环步骤3-3-1~步骤3-3-5，直至卷积神经网络分支和视觉转换器分支的最后一层结束。

6.一种局部特征耦合全局表征的图像分类系统，用于实施权利要求1至5之一所述的图像分类方法，其特征在于，所述系统包括卷积神经网络单元、视觉转换器单元和特征耦合单元，其中，

所述卷积神经网络单元用于获得图像的局部特征，

所述视觉转换器单元用于获得图像的全局表征；

所述特征耦合单元，用于以交互的方式融合基于卷积的局部特征和基于自注意力的全局表征。

7.一种计算机可读存储介质，其特征在于，存储有局部特征耦合全局表征的图像分类训练程序，所述程序被处理器执行时，使得处理器执行权利要求1至5之一所述的所述局部特征耦合全局表征的图像分类方法的步骤。

8.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有局部特征耦合全局表征的图像分类训练程序，所述程序被处理器执行时，使得处理器执行权利要求1至5之一所述局部特征耦合全局表征的图像分类方法的步骤。