[发明专利]基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法

说明书

本发明公开了一种基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法，包括：采集胰腺CT图像数据集并进行数据预处理；利用步进卷积进行下采样，利用3Dtransformer进行特征提取，利用反卷积上采样进行解码，以建立3Dtransformer混合卷积神经网络；将预处理后的数据输入所述3Dtransformer混合卷积神经网络，输出分割结果；本发明结合卷积神经网络局部表征能力与Transformer的全局建模能力来提取融合胰腺各级特征；提出一种适用胰腺和网络的损失函数，改善了针对胰腺类别不平衡以及纹理信息大不相同带来的学习难易程度存在差异等问题；采用多视角跳跃连接及特征融合模块弥补了医学图像U型架构上下采样的信息损失问题。

技术领域

本发明涉及CT图像分割的技术领域，尤其涉及一种基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法。

背景技术

在传统深度神经网络中，一般使用卷积神经网络来提取胰腺特征，可分为多视图平面(2D)网络、直接使用体积(3D)网络来进行分割任务。但这两种方法效果都不是很理想，2D网络不能有效捕捉3D上下文，3D网络缺乏预先训练好的模型，既消耗内存，又不稳定。

因transformer结构能有效结合全局信息，CNN能更好的保留更加精确的位置信息以及提高高分辨率的底层特征，本发明利用3DTransformer结合CNN架构来提取特征信息，实现了一个快速全自动的胰腺分割算法。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

为解决上述技术问题，本发明提供如下技术方案，包括：采集胰腺CT图像数据集并进行数据预处理；利用步进卷积进行下采样，进而编码，利用3Dtransformer进行特征提取，利用反卷积上采样进行解码，以建立3Dtransformer混合卷积神经网络；将预处理后的数据输入所述3Dtransformer混合卷积神经网络，输出分割结果。

作为本发明所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法的一种优选方案，其中，数据预处理包括：利用旋转缩放、高斯噪声、高斯模糊、亮度与对比度调整、低分辨率调整、伽马增强和随机裁剪进行数据增强；将所述胰腺CT图像数据集重新采样到相同的体素间距；统计所述胰腺CT图像数据集标签的CT值范围并裁剪出[0.5,99.5]的百分比范围，以进行全局归一化。

作为本发明所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法的一种优选方案，其中，还包括：将所述数据预处理后截取的3D体积块作为所述3Dtransformer混合卷积神经网络输入。

作为本发明所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法的一种优选方案，其中：所述3Dtransformer混合卷积神经网络包括三层步进卷积下采样、三层反卷积上采样、三处跳跃连接、三个特征融合模块和14个3Dtransformer模块。

作为本发明所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法的一种优选方案，其中，步进卷积下采样包括：每层所述步进卷积下采样利用两个连续的3Dtransformer模块提取特征。

作为本发明所述的基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法的一种优选方案，其中，还包括：所述步进卷积下采样中采用的是步进卷积、层正则化和GeLU激活函数。