[发明专利]一种基于多模态特征融合Vnet的乳腺肿块分割方法

权利要求书

1.一种基于多模态特征融合Vnet的乳腺肿块分割方法，其特征在于，包括以下步骤：

S1：获取乳腺磁共振图像及医生手工标记的乳腺肿块分割结果的数据集；

S2：数据预处理，对数据集中的数据进行划分；

S3：构建基于多模态特征融合Vnet的网络模型；

S4：训练步骤S3的网络模型，进行参数调整，得到预测的乳腺肿块分割结果；

S5：利用设定的评价指标和损失函数对步骤S4所得的预测的乳腺肿块分割结果与步骤S1中医生手工标记的乳腺肿块分割结果进行比较，验证分割方法的有效性。

2.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法，其特征在于，所述步骤S1的具体步骤为：

S1.1：获取多个病例的三维T1加权的乳腺磁共振图像，包括低、中、高风险病例，以及具有良性和恶性肿瘤的病例，建立数据集；

S1.2：获取医生手工标记数据集图像，通过ITK-SNAP软件三维分割乳腺肿块区域。

3.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法，其特征在于，所述步骤S2包括以下步骤：

S2.1：重采样：对数据集中不同图像进行重采样，使用数据集中各个图像不同间距的中值来确定重采样的目标空间大小，并根据目标间距确定每张图像的目标尺寸，最后对每张图片进行调整；

S2.2：图像裁剪：将图片统一裁成64*64*64的尺寸，得到裁剪图像；

S2.3：标准化处理：进行灰度归一化，采用0均值标准化，公式如下：

式(1)中，μ、σ分别为原始数据集的均值和标准差；

S2.4：进行零均值化：将图像进行平移，得到平移后所有数据的中心为(0,0)；

S2.5：交叉验证：将步骤S2.3处理后的数据进行分组，分别设置训练集和验证集，先用训练集对分类器进行训练，再利用验证集来测试训练得到的模型，确定评价分类器的性能指标。

4.根据权利要求1所述的基于多模态特征融合Vnet的乳腺肿块分割方法，其特征在于，所述S3包括如下步骤：

S3.1：网络模型的整体结构为编码器-解码器结构，其中，在编码器中并行提取四种模态在不同层级上的深度特征，使用特征融合模块对同层级的四个特征图进行信息融合，特征融合模块包含了RFB感受野模块；首先对4种不同模态的特征图进行通道层上的拼接，这一部分就是RFB模块，RFB引入了不同核大小的空洞卷积层来增大感受野；

S3.2：特征融合模块还包含3D-SE模块，内容如下：

S3.2.1：压缩：由于特征v的每个单元都不能使用其他单元R的上下文信息，所以通过全局平均池化将全局空间信息压缩成一个通道描述符，R的空间维度H×W由以下方式统计生成R，公式如下：

其中，R_c代表R的第c个元素；

S3.2.2：激励：使用步骤S3.2.1中获得的通道描述符来获得通道相关性，该操作通过参数W获得各通道的权重，建立各通道之间的相关性模型；该步骤采用一种简单的门控机制，带有一个sigmoid激活，公式如下：

l＝F_ex(R,W)＝σ(g(R,W))＝σ(W₂δ(W₁R)) (3)；

其中，δ代表ReLU函数，该步骤由两个全卷积层组成，一个是降维层，包括具有降维率r的参数W₁，另一个是具有参数W₂的ReLU和降维层，最终输出的通道系数是通过激活函数所获得的，激活函数公式如下：

其中，F_sc是通道式乘法；

S3.2.3：通过步骤S3.2.1和步骤S3.3.2得到通道系数，对步骤S3.2.1中所提及的特征v进行新的加权。

S3.3：网络模型的编码器包含瓶颈结构和下采样模块，瓶颈结构包含三次重复的基本的单元，即3D卷积层、Batch normal层，ReLU层，其中ReLU函数公式如下：

f(x)＝max(0,x) (5)；

在Batch normal层之后加入短连接，构成残差单元，每个残差单元用如下公式表示：

Y_i＝h(X_i)+F(X_i,W_i) (6)；

X_i+1＝f(Y_i) (7)；

其中，X_i和X_i+1表示第i个残差单元的输入和输出，F(·)表示残差函数，h(X_i)表示一个标识映射函数，f(Y_i)表示激活函数；

下采样模块将特征图的分辨率变为原来的一半；

S3.4：解码器主要由上采样模块和长连接结构构成，上采样模块逐步地将特征图的分辨率还原成原始输入，长连接将特征融合模块的输出与上采样的输出相连接，网络模型最后的输出为二值图像。