[发明专利]一种基于Transformer的自适应医学影像分类方法及系统

说明书

本发明提出一种基于Transformer的自适应医学影像分类方法及系统，包括通过卷积神经网络获取基础的图像特征信息，将图像特征信息传到通道注意力网络结构中，得到加权之后的通道注意力特征图，将通道注意力特征图传到Transformer网络中，得到经过Transformer处理之后的特征向量，最后将得到的特征向量输入到全连接层中，全连接层直接输出算法最后的分类结果。本发明将卷积神经网络与Transformer模型有效地结合在一起，既降低了模型冗余度，又可以捕获图像的全局上下文信息提取强有力的特征信息。

技术领域

本发明涉及基于人工智能的影像分类技术领域，并特别涉及一种基于Transformer的自适应医学影像分类方法及系统。

背景技术

随着医学影像的不断累积，给使用传统机器学习模型对医学影像进行分类辅助的医生带来了巨大的挑战。深度学习算法在计算机视觉领域日渐成熟，为辅助医生进行精确的诊断提供了契机。卷积神经网络作为深度学习的一个重要分支在图像处理领域占据着十分重要的位置，卷积神经网络的局部感知和参数共享的特点可以有效提取图像特征，降低模型复杂度。目前经典的卷积神经网络模型比如：VGG模型，ResNet模型和DensNet模型等都被广泛应用于医学影像的特征提取。现有技术通过运用多种卷积神经网络对核磁共振脑部图像进行疾病诊断，对脑部的早期微小病变提供了重要的参考信息。以及现有技术提出基于深度学习算法的新型冠状病毒分类方法通过卷积神经网络提取特征向量，使用自编码器训练优化新型冠状病毒序列分类模型，有效提升了新型冠状病毒分类的准确性。

卷积神经网络是一种分层数据表示，高层特征依赖于底层特征，网络深度有助于提取语义信息，网络宽度有助于提取更丰富的特征信息。虽然卷积神经网络具备如此多的优点，但是由于卷积神经网络的局部感知和参数共享的特性，图像的像素之间关联信息较少，不利于网络充分利用上下文信息进行特征捕捉。虽然卷积神经网络可以通过不断叠加更深的网络层来提取覆盖全图的特征感受野，但是这样明显会增加网络计算量，造成梯度弥散等网络训练问题。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种有效降低模型冗余度、融合全局上下文信息的基于Transformer的自适应医学影像分类算法。

具体来说，本发明提出一种基于Transformer的自适应医学影像分类方法，其中包括：

步骤1、构建包括卷积神经网络、通道注意力网络和Transformer网络的医学影像分类模型，获取多个已标注类别的原始医学影像；

步骤2、通过该卷积神经网络提取该原始图像的基础特征图，将该基础特征图输入至该通道注意力网络，得到加权之后的通道注意力特征图；

步骤3、该通道注意力特征图依次通过Transformer网络的编码层和解码层，得到各类别的概率分布，基于该概率分布得到该原始医学影像的分类结果；

步骤4、基于该分类结果和该原始医学影像已标注的类别，构建损失函数，以迭代训练该医学影像分类模型，直到损失函数收敛或达到预设迭代次数，保存当前医学影像分类模型作为最终识别模型；

步骤5、将待分类医学影像输入该最终识别模型，得到该待分类医学影像的医学影像类别。

所述的基于Transformer的自适应医学影像分类方法，其中该多个原始医学影像已通过缩放完成影像尺寸归一化处理。

所述的基于Transformer的自适应医学影像分类方法，其中该步骤2包括：

该通道注意力网络将该基础特征图进行压缩，得到通道级别的全局特征，然后对全局特征进行激发操作得到不同通道的权重；通过权重和该基础特征图进行相乘，得到该通道注意力特征图。

所述的基于Transformer的自适应医学影像分类方法，其中该原始医学影像和该待分类医学影像均为肺部CT影像，对应的类别包括：细菌、病毒、真菌和新冠。