[发明专利]基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法

权利要求书

1.一种基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，包含：

获取待识别图像；

根据所述待识别图像，进行图像重叠划分，获取多个部分重叠的图像块；

根据所述多个部分重叠的图像块，获取嵌入序列；

将所述嵌入序列输入预先训练好的基于池化的多阶段ViT编码器中进行编码，获取所述待识别图像的特征编码；

将所述特征编码输入分类器中进行分类，获取所述待识别图像的识别结果；

所述预先训练好的基于池化的多阶段ViT编码器包含间隔设置的子编码器和池化层；所述子编码器包含L层transformer block，用以将所述嵌入序列编码成特征图；所述池化层配置于所述子编码器之间，用以调整所述特征图的空间尺寸。

2.根据权利要求1所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，所述子编码器的数量为3个；所述池化层的数量为2个；3个所述子编码器和2个所述池化层之间间隔设置，以构成三阶段的ViT编码器。

3.根据权利要求2所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，三个子编码器的transformer block层数分别为3、6和4。

4.根据权利要求1所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，所述池化层用于：

将前一个子编码器输出的特征图拆分成分类表示和二维的空间表示；

将所述空间表示变换成3D张量，然后通过depth-wise卷积，获取尺寸减小后的新的3D张量；

将所述新的3D张量变换成新的空间表示；

将所述分类表示调整为与所述新的空间表示维度相同的新的分类表示；

将所述新的空间表示和所述新的分类表示拼接，获取新的特征图；其中，所述新的特征图用以输入后一个子编码器。

5.根据权利要求4所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，将所述空间表示变换成3D张量，然后通过depth-wise卷积，获取尺寸减小后的新的3D张量，具体包括：

将所述空间表示变换成3D张量；其中，所述3D张量的尺寸为(D,N_H,N_W)，式中，D为通道数，N_H和N_W为分辨率；

根据所述3D张量，通过输入通为D，输出通道2D，卷积核为(3,3)，步幅为2的depth-wise卷积运算，获取所述新的3D张量；其中，所述新的3D张量的尺寸为

将所述新的3D张量变换成新的空间表示，具体包括：

将所述新的3D张量和与其尺寸相同的位置嵌入相加，获得带位置信息的新的3D张量；

将所述带位置信息的新的3D张量变换成所述新的空间表示；

将所述分类表示调整为与所述新的空间表示维度相同的新的分类表示，具体包括：

根据所述分类表示，通过全连接层，获取与所述新的空间表示通道数相同的所述新的分类表示。

6.根据权利要求1所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，

根据所述待识别图像，进行图像重叠划分，获取多个部分重叠的图像块，具体包括：

根据所述待识别图像，以卷积核为(P,P)步幅为S进行2D卷积，获取三维块嵌入；其中，0S≤P。

7.根据权利要求6所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，

根据所述多个部分重叠的图像块，获取嵌入序列，具体包括：

将所述三维块嵌入和与其尺寸相同的三维位置嵌入相加，获取新的三维块嵌入；

将所述新的三维块嵌入变换为二维，获取块嵌入序列；

将所述块嵌入序列和与其通道数相同的分类表示向量进行拼接，获取所述嵌入序列。

8.根据权利要求1至7任意一项所述的基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法，其特征在于，

分类器以对比损失和交叉熵损失相结合作为损失函数训练得到；损失函数L的表达式为：L＝L_con(Z)+L_cross(y,y′)，式中，L_con(Z)表示对比损失，L_cross(y,y′)表示交叉熵损失。