[发明专利]基于Transformer的关键特征增强胃癌图像识别方法

说明书

本发明涉及基于Transformer的关键特征增强胃癌图像识别方法。本发明用预训练的YoloV5网络筛选出局部病变区域，用交叉信息Transformer网络对待分类图像进一步增强待识别区域关键特征。在交叉信息Transformer网络中，通过多头自注意力增强待分类图像中的病变区域特征。整个网络通过分类损失与三元组损失进行训练。训练完成后将测试集图像输入到训练好的网络模型中，评估网络的性能指标。本发明与现有的胃癌图像识别方法相比，病变区域检测机制可以有效筛选关键特征信息，削弱无效背景信息的干扰，同时交叉信息Transformer网络可以充分增强病变区域信息的特征表示，提升胃癌图像识别精度。

技术领域

本发明涉及基于Transformer的关键特征增强胃癌图像识别方法，属于计算机视觉中图像识别领域。

背景技术

胃癌是最常见的癌症之一，每年全球因肺癌死亡的人数位居因癌症死亡人数的第二位。为提升胃癌检测的精确度和效率，在过去的几十年里，人们越来越关注利用计算机方法来协助病理学图像的分析。由于不同胃癌病理学图像之间存在细胞的细微颜色差别以及重叠和不均匀分布等问题，会给胃癌图像的识别带来很大困难。目前，深度学习技术在各个计算机视觉领域都取得了广泛的应用，并在图像识别等许多应用中都取得了最好的性能。当前一些相关的工作使用深度学习进行病理图像分析。如将CNN网络应用于组织病理学图像中上皮区域和基质区域的深度分割和分类，癌症区域检测，癌症图像识别等领域。本发明主要关注临床胃癌图像识别问题。人工病理检查胃切片图片是耗时的，并且由于观察者变化导致的评判标准不一，通常会影响判别的准确性。当前针对的方法大都基于卷积神经网络，并取得了一定效果。最近，在看到语言任务的大量成功后，研究人员一直在探索Transformer的在计算机视觉任务的应用途径。本发明主要研究Transformer应用于临床胃癌病灶的识别问题。

由于不同胃癌病理学图像之间存在细胞的细微颜色差别以及重叠和不均匀分布等问题，因此如何有效地增强病灶区域特征的信息，并提升网络关注显著判别性信息的能力是当前提升网络识别性能的关键问题。为了解决这些问题，本发明提供了一种基于Transformer的关键特征增强胃癌图像识别方法。基于卷积的网络虽然具有平移不变性，然而基于Transformer的网络设计则更具整合全局信息的能力，因此对扰动更具鲁棒性。

发明内容

本发明提供了基于Transformer的关键特征增强胃癌图像识别方法，用于解决因不同胃癌病理学图像之间外型，分布差异较大而导致的网络识别鲁棒性不强的问题。

本发明的技术方案是：基于Transformer的关键特征增强胃癌图像识别方法，所述方法具体步骤如下：

Step1、搜集当前已经公开的胃癌图片和正常胃部图片数据集，构成数据集；

Step2、对已有类别标签的胃癌图片上进一步标识，标识的信息包括图片是否含有胃癌肿瘤细胞的病灶，以及病灶的位置；

Step3、将已有的胃癌病理学图片进行数据增强，来扩充数据样本；

Step4、首先加载YoloV5网络的预训练的权重，再利用胃癌图像识别数据集对YoloV5网络进行微调；

Step5、分别提取完整图像的全局特征和裁剪图像的局部特征，输入到Transformer网络中，通过多头自注意力增强待分类图像中的病变区域特征；最后，添加一个全连接层作为分类器进行分类；

Step6、在训练集上，通过交叉熵损失与三元组损失对整个网络进行训练；

Step7、利用测试集验证训练好的模型是否达到要求；为评估模型效果，采用所有测试图像的平均分类精度ACA和平均精度AP作为评价指标。

作为本发明的进一步方案，所述Step1中采用的数据集，包括BOT胃切片数据集和seed癌症风险智能诊断数据集，并将80％的图片分为训练集，20％的图片分为测试集。