[发明专利]一种基于影像组学与深度学习特征融合的椎体骨密度分类方法

权利要求书

1.一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，将CT图像下椎体分为骨质疏松、低骨量与正常组，其特征在于，包括以下步骤：

S1：建立基于CRF和注意力引导的椎体分割网络，获取L1椎体、L2椎体的松质骨分割掩膜；

S2：通过对L1椎体和L2椎体的图像在进行卷积神经网络特征提取前，先一步进行特征融合，特征融合最后采用特征的通道数相融合的方式将L1椎体图像和L2椎体图像进行特征融合；

通过GCAM-Net对L1椎体和L2椎体融合后的特征图进行深度学习特征提取，并利用L1椎体和L2椎体的CT图像及掩膜进行影像组学特征提取；

所述GCAM-Net是用于椎体特征提取的卷积神经网络，包括：1个卷积层、1个最大池化层、4个GCAM卷积块层、1个平均池化层；4个GCAM卷积块层都是由1个门控通道注意力模块和1个残差结构模块组成，残差结构模块包括1个主层连接和1个跨层连接，其中，主层连接由3个1×1的卷积串联构成，跨层连接包括对门控通道注意力模块的输出结果进行1个1×1的卷积操作；最后平均池化层，对特征图进行降维展平，实现深度学习特征的提取；

其中，门控通道注意力模块，用于建模通道之间的关系，在归一化之前嵌入全局上下文并控制每个通道的权重，以及一个门控适应算子，根据归一化的输出逐通道地调整输入特征；

S3：运用差分进化算法在深度学习特征中提取最优特征集，并将提取后影像组学特征通过SVM-RFE法进行特征筛选，最后将影像组学特征和深度学习特征进行最大相关性融合算法进行特征融合，并利用神经网络分类。

2.根据权利要求1所述的一种基于影像组学与深度学习特征融合的椎体骨密度分类方法，其特征在于，在S1中，所述CRF和注意力引导的椎体分割网络包括：

特征提取模块，将图形特征嵌入到卷积神经网络中，用于学习卷积特征和图形特征；

通道特征融合模块，用于抑制背景中噪音、伪影对分割的干扰；所述通道特征融合模块，聚合来自编码层的低级信息以及解码层中的高级特征，通过挤压和激发操作校准通道特征响应，得到的权重向量与低层特征相乘，并将重新加权的低层特征与高层特征相加得到最终结果，抑制背景中噪音、以及相似组织对分割的干扰；

特征推理模块，用于划分皮质骨与松质骨区域，细化松质骨分割边界，填充分割掩膜内部的孔洞；

所述特征推理模块利用条件随机场建立椎体像素邻域间的关系，将分割问题转化为能量成本最小化问题，用平均场更新来近似代替复杂的后验概率分布，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：

式中，D_KL(QP)为分布P与分布Q之间的KL散度，Q(h)为使用平均场拟合分布P的后验概率分布，lnZ为常数项，E(h)为分割时的能量函数，h为隐变量，其中为自由能，自由能的第一项为标记每个体素的成本，第二项表示分布Q的熵，利用卷积操作代替随机场中的平均场更新，定义使用图卷积网络提取的特征X^G，注意门的权重矩阵A^GR，卷积中待推理的特征分别为H^G以及H^R具体的操作步骤为：

(1)计算注意门权重矩阵的更新矩阵：为A^GR的更新矩阵，r^GR为一个3×3的卷积核；

(2)使用sigmoid函数σ对更新矩阵做归一化处理：式中的为归一化后注意门权重矩阵的更新；

(3)H^G的平均场更新：H^G＝r^GR*H^G，*表示卷积操作，等式左边的H^G为更新后的H^G，r^GR为一个3×3的卷积核；

(4)⊙表示元素相乘，为卷积的隐藏特征H^G的更新，为归一化后注意门权重矩阵的更新；

(5)通过使用剩余连接添加一元势来更新H^R:表示元素相加，为卷积的隐藏特征H^G的更新，为了便于迭代更新，H^G的贡献归算在H^R中，X^R为卷积提取特征。