[发明专利]一种基于内窥镜图像的深度融合的肠息肉分割方法及装置

权利要求书

1.一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述方法包括：

步骤一：采集内窥镜下肠息肉图像并进行预处理得到训练集和测试集；

步骤二：利用门控轴向注意力机制模块和滑动窗口注意力机制模块构建深度特征融合模块；

步骤三：利用门控轴向注意力机制模块、深度特征融合模块以及注意力门控模块构建肠息肉图像分割模型；

步骤四：利用训练集训练肠息肉图像分割模型得到最优的肠息肉图像分割模型；

步骤五：将实时采集的内窥镜下肠息肉图像输入最优的肠息肉图像分割模型得到预测分割图像。

2.根据权利要求1所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤一包括：

S11、采集内窥镜下肠息肉图像；

S12、利用线性插值方法将所有获取的图像分辨率调整为224×224；

S13、对数据图像通过随机水平旋转、随机垂直旋转、随机变形、随机对比度和随机亮度变化以及0.70～1.20倍随机多尺度缩放，采用形态学中的高低帽变换增强肠息肉与背景的对比度，高低帽变换的公式为：

f_{b_hat}＝f-(f·b)＝f-f_d，

f_enchance＝f_t-hat-f_{b_hat}，

式中，f表示肠息肉图像，f_op表示开运算，f_d表示闭运算，b表示形态学中的结构元素，f_enchance表示增强后内窥镜下肠息肉图像；

S14、利用自适应阈值的方法提取上述经过处理的图像中肠息肉所在的区域，并对调整后的图像按5∶1划分为训练集和测试集两个部分。

3.根据权利要求2所述的一种基于内窥镜图像的深度融合的肠息肉分割方法，其特征在于，所述步骤二包括：

S21、构建门控轴向注意力机制模块：将原始的自注意力机制模块拆分为两个模块，一个模块在高度轴上进行自注意力计算，另一个模块在宽度轴上进行计算，计算公式如下

其中，W表示宽度，H表示高度，q、k分别表示查询向量、键向量，q_i，j表示在i∈{1，...H}，j∈{1，...W}中任意位置的查询向量，k_i，W、u_i，w表示在某一宽轴上i∈{1，...H}中的任意位置的健向量与值向量，和表示查询向量、健向量和值向量所对应的位置偏置；利用门控机制来控制位置信息的权重，更新高度轴上自注意力计算公式，即：

其中，G_q，G_k，均是控制参数；

S22、构建基于窗口的注意力机制模块，基于滑动窗口注意力机制模块表示为：

Z′_i＝W_MSA(Norm(Z_i-1))+Z_i-1

Z_i＝FFN(Norm(Z`_i))+Z′_i

Z′_i+1＝SW_MSA(Norm(Z_i))+Z_i

Z_i+1＝FFN(Norm(Z`i))+Z′_i+1

其中，W_MSA表示输入特征通过的基于窗口的注意力模块，SW_MSA表示基于滑动窗口注意力机制模块，Z_i-1表示第i层中W_MSA的输入特征，Z′_i表示第i层中W_MSA的输出特征，也为第i层中SW_MSA的输入特征；Norm表示归一化，i为某中间块标识符，FFN表示为一个隐藏层的全连接网络；

S23、构建深度特征融合模块：门控轴向注意力机制模块和滑动窗口注意力机制模块的输出经过重塑得到特征图，利用卷积操作调整特征图尺寸，通过特征拼接融合各路特征图，再通过卷积操作得到融合特征