[发明专利]基于Transformer的关键特征增强胃癌图像识别方法

权利要求书

1.基于Transformer的关键特征增强胃癌图像识别方法，其特征在于，所述方法具体步骤如下：

Step1、搜集当前已经公开的胃癌图片和正常胃部图片数据集，构成数据集；

Step2、对已有类别标签的胃癌图片上进一步标识，标识的信息包括图片是否含有胃癌肿瘤细胞的病灶，以及病灶的位置；

Step3、将已有的胃癌病理学图片进行数据增强，来扩充数据样本；

Step4、首先加载YoloV5网络的预训练的权重，再利用胃癌图像识别数据集对YoloV5网络进行微调；

Step5、分别提取完整图像的全局特征和裁剪图像的局部特征，输入到Transformer网络中，通过多头自注意力增强待分类图像中的病变区域特征；最后，添加一个全连接层作为分类器进行分类；

Step6、在训练集上，通过交叉熵损失与三元组损失对整个网络进行训练；

Step7、利用测试集验证训练好的模型是否达到要求；为评估模型效果，采用所有测试图像的平均分类精度ACA和平均精度AP作为评价指标；

所述Step5的具体步骤如下：

Step5.1、分别提取完整图像的全局特征和裁剪图像的局部特征，输入到Transformer网络中；

Step5.2、Transformer网络中，通过建立全局特征和裁剪图像的局部特征的交叉信息流关系，有助于识别局部病灶特征和全局特征token之间的跨尺度关系，通过跨尺度关系，两个尺度的特征高度对齐并相互耦合；

Step5.3、Transformer网络中分别通过有效处理局部病灶特征f_l和全局特征f_g的特征映射，从而最大限度地提取局部和全局特征；

Step5.4、上采样局部病灶特征f_l，将其与全局特征f_g连接，并进行逐个卷积以进行通道双尺度信息融合，得到网络的输出特征f_O；

Step5.5、将输出特征f_O输入分类器进行分类，分类器由两个全连接层构成。

2.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法，其特征在于：所述Step1中采用的数据集，包括BOT胃切片数据集和seed癌症风险智能诊断数据集，并将80％的图片分为训练集，20％的图片分为测试集。

3.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法，其特征在于：所述Step3中使用的数据增强方法包括：镜像、旋转；其中随机抽取训练集图片的30％进行镜像，抽取剩下图片的30％随机进行顺时针90度、180度、270度旋转，剩余的图片不进行操作。

4.根据权利要求1所述的基于Transformer的关键特征增强胃癌图像识别方法，其特征在于：所述Step4中，对在ImageNet上训练的YoloV5网络权重进行微调，调整网络对胃癌肿瘤病灶的检测效果，并用检测结果的坐标在原始数据集上裁剪出包含病灶区域的局部图片。