[发明专利]一种即插即用无限形变融合特征提取的方法及其应用

说明书

本发明涉及智能图像处理技术领域，具体的涉及一种即插即用无限形变融合特征提取的方法及其应用，与现有技术相比，本发明针对传统卷积操作的固有局限性、很难学习明确的全局和长期语义信息交互，仅从邻域像素收集信息、缺乏明确捕获远程依赖性的能力问题，采用了基于Transformer融合特征提取的编码结构以建立三维图像序列标记之间的全局连接，构建像素点间的远程依赖关系，提取多尺度上下文信息，针对Transformer中多头注意力机制之间的注意力信息相互独立并行运算，对三维图像层间结构化信息的特征提取不完全的问题，采用了融合头部注意力机制，实现对三维图像层间结构化信息的精准提取。

技术领域

本发明涉及智能图像处理和实例分割技术领域，具体的涉及一种即插即用无限形变融合特征提取的方法及其应用。

背景技术

目前，三维图像分割在实际生活中起到了十分重要的作用，特别应用于医学诊断方面，传统的手工描绘的分割方法是低效的，而且由于精确注释的模糊性，手工描绘也具有主观性。而随着深度学习的发展，传统手工描绘的分割方法逐渐被取代，基于深度学习的三维图像分割方法不仅可以提高诊断效率，而且在准确性方面也有很大的提高。

在深度学习的发展过程中，卷积神经网络在一系列三维图像分割任务中占据主导地位。Ronneberger等人开发了一个完全卷积网络(FCN)，即UNet，对整个图像进行密集预测。随后，3D UNet和VNet被提出作为UNet在三维体积分割的扩展。虽然卷积神经网络在三维图像分割领域取得了巨大的成功，但很难取得进一步的突破。由于卷积操作的固有局域性，基于卷积的方法很难学习明确的全局和长期语义信息交互。卷积仅从邻域像素收集信息，缺乏明确捕获远程依赖性的能力。另外，卷积核的大小和形状通常是固定的，不能适应输入内容。基于以上原因导致传统卷积在进行特征提取时，造成多尺度上下文信息方面的缺失，从而导致了对不同形状和尺度的结构的次优分割。

而Transformer由于其多头自注意机制可以有效地建立序列标记之间的全局连接，构建像素点间的远程依赖关系，提取多尺度上下文信息，同时也很大程度上改善了传统卷积感受野受限的问题。但是由于Transformer要求序列化输入的限制，这在一定程度上阻碍了其在三维图像处理上的发展，另外由于Transformer中多头注意力机制之间各个头部的注意力信息相互独立并行运算，这对三维图像层间结构化信息的特征提取不完全。

因此，本领域技术人员亟需一种能够解决现有的三维图像分割技术中存在的多尺度上下文信息方面的缺失，从而导致了对不同形状和尺度的结构的次优分割、以及使用Transformer时多头注意力机制之间各个头部的注意力信息相互独立并行运算，对三维图像层间结构化信息的特征提取不完全等问题的三维图像分割方法。

发明内容

针对现有技术中存在的问题，本发明的目的在于：提供一种能够实现对三维图像层间结构化信息的精准提取的即插即用无限形变融合特征提取方法，用以解决现有技术中存在的对三维图像层间结构化信息的特征提取不完全的问题。

为实现上述目的，本发明采取的技术方案是：一种即插即用无限形变融合特征提取的方法，包括以下步骤：

S1：收集三维立体图像数据集，将数据集分为训练样本集和测试样本集；

S2：构建即插即用无限形变融合特征提取模块；

S3：建立步骤S2中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征；

S4：构建由步骤S3中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习网络结构；

S5：将步骤S1所述的训练样本集，输入至步骤S4中所述的深度学习网络，得到训练后的深度学习网络模型；

S6：将步骤S1所述的测试样本集，输入至步骤S5中得到的训练后的深度学习网络模型，获取深度学习网络测试输出。