[发明专利]一种基于混合Transformer的多类型肺结节精准分割方法及模型

说明书

本发明提供了一种基于混合Transformer的多类型肺结节精准分割方法及模型，属于肺部CT影像肺结节分割技术领域；解决了现有肺结节分割模型特征提取能力不够强、模型泛化性差的问题；包括如下步骤：构建数据集；构建肺结节分割模型：设计模型编码器中的多尺度卷积模块和通道注意力卷积模块；构建模型编码器中的Transformer模块：改进传统的Transformer结构，将池化操作和Transformer中的自注意力层结合；融合所设计的卷积模块和Transformer模块；构建模型解码器中的上采样模块；构建特征双向自适应融合模块：控制特征信息的双向融合过程；训练并保存分割模型；本发明用于肺部CT影像肺结节分割。

技术领域

本发明提供了一种基于混合Transformer的多类型肺结节精准分割方法及模型，属于肺部CT影像肺结节分割技术领域。

背景技术

肺癌是全球发病率和死亡率最高的癌症，肺癌的早期检测、诊断及治疗可以有效降低患者的死亡率。然而，胸外科医生人工高负荷地审阅CT影像，容易造成肺结节的漏诊、误诊，从而导致患者错过了肺癌的最佳治疗时间。为了缓解医生的压力，以及提高早期肺癌的检出率，业内正在将人工智能技术应用在肺部CT影像中，通过AI技术辅助医师筛查、诊断肺结节及肺部早期病变，预警早期肺癌。

肺部CT肺结节的精准分割是肺结节AI辅助筛查、诊断及定性分析的关键。肺结节精准分割的挑战在于其特异性、复杂多样的形状和大小，以及与周围组织相似的视觉特征，使得目前的分割模型难以充分学习到肺结节的所有特征。Ronneberger等人提出U-Net，其由一个对称的编解码网络组成，并具有从编码器到解码器的水平跳跃连接，可以将模型浅层的信息传递到模型深层。Cao等人提出的DB-ResNet，是基于ResNet开发的一种双分支残差网络，通过双分支分别提取肺结节的多视图特征和多尺度特征。Chen等人提出TransUNet，直接将多个Transformer插入到编码器和解码器中间，充分利用Transformer善于捕捉全局信息和CNN善于提取局部信息的优势。Zhang等人提出CNN和Transformer双分支并行的TransFuse，以一种简单的方式有效地捕获图像全局依赖关系和浅层空间细节。Gao等人提出UTNet，其采用U型网络的编解码结构，并在每个编解码模块后面添加一个自注意力层，以同时提取空间和语义特征。

上述现有技术还存在以下问题：

1、肺结节的形态学特征复杂，需要特征提取网络充分提取局部和全局特征，来进行分割任务。现有技术常用的CNN善于提取局部特征，对全局特征的提取能力不足，容易导致肺结节边缘的错误分割；而Transformer善于表征全局特征，可以弥补CNN的缺陷，但是两者的简单结合并不能提高模型的特征提取能力。

2、肺结节的形态学类型多样，需要肺结节分割模型具有泛化性，以同时精准分割多种类型肺结节。现有技术常常改进训练策略，利用数据增强等来提高模型的泛化能力，这只能缓解模型泛化性不足的窘境。而模型的创新可以从根本上解决这一问题，但大多只是从模型深度和宽度上改进，所带来的参数量剧增问题并不利于模型的实际部署。

发明内容

本发明针对肺结节内部密度不均匀、外部形态复杂多样的特点，为了解决现有肺结节分割模型特征提取能力不够强、模型泛化性差的问题，提出了一种基于混合Transformer的多类型肺结节精准分割方法及模型。

为了解决上述技术问题，本发明采用的技术方案为：一种基于混合Transformer的多类型肺结节精准分割方法，包括如下步骤：

步骤S1：构建数据集：获取肺部CT影像，通过Dicom Viewer软件完成肺结节病灶区域的逐像素的标注工作，并对图像进行数据增强和数据增广；

构建肺结节分割模型，具体包括：

步骤S2：构建模型编码器中的卷积模块：根据图像分辨率和特征通道数间的关系，设计多尺度卷积模块（Module_Multi）和通道注意力卷积模块（Module_SE）；