[发明专利]一种基于上下文信息和反向注意力的息肉图像分割方法

说明书

本发明涉及基于上下文信息和反向注意力的息肉图像分割方法。本发明首先输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；其次，通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；然后，基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；最后，结合息肉显著区域的注意图和非显著区域的反向注意图进行解码优化，通过消除错误预测，得到最终的分割结果。本发明可以有效用于息肉图像分割，具有较高的分割效率和准确性。

技术领域

本发明涉及一种基于上下文信息和反向注意力的息肉图像分割方法，属于计算机视觉、模式识别及医学图像应用领域。

背景技术

随着医学影像技术的发展，医学影像数据成为医疗诊断与病理分析的重要依据。而医学图像分割作为医学影像分析的重要手段，成为了必不可少的研究内容。然而由于医学图像本身具有较高的复杂性、图像对比度低、噪声变化较大、分割目标形态不规则等特点，加之隐私性导致医学图像数据集小、人工标注困难等问题，导致医学图像自动分割在效率和精度上仍然存在不足。

公知方法通常基于Unet，FCN，ResNet，transformer等网络进行改进，例如Unet++，Double Unet等，但这些方法由于未考虑息肉图像本身形态大小各异，存在多个小息肉不易分割等特点，导致会遗漏不同大小息肉，且分割结果产生破碎等问题。鉴于此，公知的息肉分割方法进行了改进，例如Debesh(IEEE Journal of Biomedical and HealthInformatics,2021,2029-2040)在ResUNet主干的基础上添加了残差块、SE块、ASPP块和注意力模块，能够较好地检测出较小的扁平息肉，解决息肉遗漏的问题。Wang(ISBI,2021,1319-1323)利用通道注意力机制融合不同分支的上下文特征，利用空间注意力机制计算相应分支的上下文权重，以实现对分割图像的上下文指导，解决息肉形态各异的问题。但是这两个公知方法都没有考虑背景中的前景信息。专利CN112907530A基于残差分支和不同卷积核的分支进行纹理增强，将纹理增强后的特征图和反向注意力处理后的特征图进行拼接融合，从而将背景信息加入特征图中，实现对伪装物体的检测。该方法是对通用图像进行分割，在息肉分割中效果并不理想。专利CN113343995A提出了反向注意模块，利用单位矩阵减去输入的逆运算来挖掘互补区域的细节，探索边界信息。该方法虽然考虑到了背景信息，但未考虑特征图中假阳性和假阴性的干扰。同时也没有充分利用浅层特征中的边缘信息。因此本发明将提取的浅层特征融合，通过边缘监督函数得到边缘特征图，以补充深层特征中缺失的边缘信息；在反向注意模块中加入显著区域向量和非显著区域向量，通过计算显著区域向量、非显著区域向量与全局特征中每个像素的相似度加权值得到显著区域注意图和非显著注意图，从而聚焦于息肉的显著区域和非显著区域；在解码优化过程中，引入上下文分支来获取显著区域注意图中的非显著信息和非显著区域注意图中的显著信息，从而发现并消除特征图中假阳性和假阴性错误预测，得到更准确的分割预测图。

发明内容

本发明提供了一种基于上下文信息和反向注意力的息肉图像分割方法，以用于有效地分割息肉图像，从而满足目前医学图像分割对精确性和复杂性的要求。

本发明的技术方案是：一种基于上下文信息和反向注意力的息肉图像分割方法：所述方法包括如下步骤：

Step1、输入息肉图像集中的图像，提取其显著区域的边缘特征和全局特征进行特征融合，得到含边缘信息的不同尺度特征图；

Step2、通过采用不同扩张率的多分支卷积和并行轴向注意对不同尺度特征图进行特征编码，得到息肉图像显著区域的上下文信息；

Step3、基于提取到的全局特征和息肉图像显著区域的上下文信息，通过定义的反向注意模块，得到息肉图像非显著区域的反向注意图和显著区域的注意图；