[发明专利]基于长短期记忆自注意力模型的三维医学图像分割方法及系统

权利要求书

1.一种基于长短期记忆自注意力模型的三维医学图像分割方法，能够针对医学图像中目标区域影像进行分割，其特征在于，包括以下步骤：

(1)收集含有目标区域且已知目标区域分割金标准的三维医学图像，根据感兴趣区域对原始图像进行裁剪并进行像素值归一化处理得到训练集样本；

(2)针对待分割的原始三维医学图像，根据感兴趣区域对原始图像进行裁剪，并对裁剪后的图像进行像素值归一化操作，得到待分割样本；

(3)构建基于长短期记忆自注意力的三维医学图像分割网络，该网络首先使用一个由多个卷积层组成的特征提取模块，利用卷积计算将网络输入图像中的灰度信息转换为特征信息得到初始图像特征；然后使用依次连接的多个具有残差结构的卷积模块进一步处理初始图像特征得到相应的卷积特征；接着使用若干个基于多头自注意力机制的短期记忆模块计算不同层次卷积特征之间的全局相关性，并以该全局相关性为基础结合相关性计算中所使用的卷积特征生成短期记忆特征；接着，一个同样基于多头自注意力机制的长期记忆模块将对得到的全部短期记忆特征进行一次全局相关性计算，从而生成用于重建分割结果的待重建特征；其中，所述长期记忆模块与任意一个短期记忆模块具有相同的结构；最后，重建模块将通过多个卷积与反卷积层对所述待重建特征进行处理，从而得到对网络输入图像每个像素所属类别的预测概率，进而实现对于三维医学图像中目标区域的精准分割；

利用所述步骤(1)得到的训练集样本、以相应的分割金标准作为标签训练构建的所述三维医学图像分割网络，使训练后的网络能够实现对网络输入图像所包含的目标区域的分割；

(4)将所述步骤(2)得到的待分割样本作为网络输入图像输入至所述步骤(3)得到的训练好的基于长短期记忆自注意力的三维医学图像分割网络中，即可输出得到待分割样本中目标区域的分割结果。

2.如权利要求1所述基于长短期记忆自注意力模型的三维医学图像分割方法，其特征在于，所述步骤(3)中构建得到的基于长短期记忆自注意力的三维医学图像分割网络，具体包括：

特征提取模块，用于提取图像特征，该特征提取模块通过两个步长为2的卷积计算降低分辨率并增加通道数量，将网络输入图像转换为多通道特征图，得到初始图像特征；

依次连接的多个具有残差结构的卷积模块，用于处理初始图像特征，得到相应的卷积特征；其中，任意一个卷积模块得到的卷积特征的分辨率与所述初始图像特征的分辨率相同；优选的，依次连接的多个具有残差结构的卷积模块具体为依次连接的4个具有残差结构的卷积模块，分别记为卷积模块1、卷积模块2、卷积模块3和卷积模块4，这些卷积模块得到的不同层次的卷积特征则分别记为卷积特征1、卷积特征2、卷积特征3和卷积特征4；

若干个基于多头自注意力机制的短期记忆模块，所述短期记忆模块的数量为所述具有残差结构的卷积模块的数量减去1，其中，第1级短期记忆模块与最前2级具有残差结构的卷积模块相对应，后续每一级短期记忆模块与下1级具有残差结构的卷积模块顺序对应；第1级短期记忆模块用于计算最前2级具有残差结构的卷积模块所得卷积特征之间的相关性，后续每一级短期记忆模块则用于计算前一级短期记忆模块所得短期记忆特征与对应的一级具有残差结构的卷积模块所得卷积特征之间的相关性，由此计算得到全部具有残差结构的卷积模块所得卷积特征之间的全局相关性；优选的，若干个基于多头自注意力机制的短期记忆模块具体为3个基于多头自注意力机制的短期记忆模块，记这3个基于多头自注意力机制的短期记忆模块分别为短期记忆模块1、短期记忆模块2和短期记忆模块3，每个短期记忆模块均有两个输入；其中，卷积特征1经过下采样后和卷积特征2输入至短期记忆模块1，得到短期记忆特征1；该短期记忆特征1经过下采样后和卷积特征3输入短期记忆模块2，得到短期记忆特征2；该短期记忆特征2经过下采样后和卷积特征4输入短期记忆模块3，得到短期记忆特征3；

并且，除最后一个短期记忆模块之外，将每一个短期记忆模块得到的短期记忆特征通过卷积计算降低通道数量，并与输入该短期记忆模块的最下一级卷积特征相加作为后一级卷积模块的输入；优选的，短期记忆特征1与卷积特征2相加作为卷积模块3的输入，短期记忆特征2与卷积特征3相加作为卷积模块4的输入；

基于多头自注意力机制的长期记忆模块，用于先将每个短期记忆模块得到的短期记忆特征于通道所在维度拼接生成合并特征，再进行一次全局相关性计算，从而生成用于重建分割结果的待重建特征；优选的，基于多头自注意力机制的长期记忆模块，用于先将短期记忆特征1、短期记忆特征2和短期记忆特征3于通道所在维度拼接生成合并特征，再将合并特征进行一次全局相关性计算，从而生成用于重建分割结果的待重建特征；

重建模块，用于以待重建特征作为输入，使用步长为2的反卷积层增大图像分辨率，并使用两层步长为1的卷积层降低通道数量，从而最终得到对网络输入图像每个像素所属类别的预测概率。