[发明专利]一种即插即用无限形变融合特征提取的方法及其应用

权利要求书

1.一种即插即用无限形变融合特征提取的方法，其特征在于，包括以下步骤：

S1：收集三维立体图像数据集，将数据集分为训练样本集和测试样本集；

S2：构建即插即用无限形变融合特征提取模块，首先通过注意力信息权重矩阵与位置信息权重矩阵计算注意力强度矩阵，然后经过注意力权重映射和注意力逻辑映射得到融合了各个注意力头部之间的权重关联信息，最后与注意力信息权重矩阵进行计算并转换后得到特征提出模块的输出结果；

S3：建立步骤S2中即插即用无限形变融合特征提取模块的特征输入与位置输入，以提取无限形变全局注意力融合特征，包括：

a：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体特征图像的注意力信息，作为融合头部自注意力特征的注意力信息输入，包括

1)：定义输入三维立体图像初始化信息：将待特征提取的三维立体图像块定义为其中h为高度，w为宽度，d为深度，C_l为输入特征提取模块的通道数；

2)：构建包含三维立体图像特征信息的注意力权重矩阵，提取三维立体图像块T′的注意力信息，作为融合头部自注意力特征公式中的注意力信息输入；

3)：定义三个初始化相同的三维立体卷积块，分别表示要查询的信息权重q^r、被查询的向量权重k^r、查询得到的值权重v^r，再经过尺寸变换函数F_u分别得到注意力机制中要查询的信息Q^r、被查询的向量K^r和查询得到的值V^r，用于提取三维立体图像块T′的注意力信息，并作为后续融合头部自注意力特征公式中的注意力信息输入：

其中Q^r，K^r，λ为注意力信息的输入系数，且λ＝h×w×d，n_h个Q^r、K^r、V^r分别组成集合

b:构建包含三维立体图像空间信息的位置权重矩阵，对不同维度进行位置编码，存储三维立体图像的三维空间特征信息，作为融合头部自注意力特征的位置信息输入，包括

4)：定义三个可迭代的用于学习三维立体图像宽度w、高度h和深度d位置信息的权重参数分别为用来对T′进行位置编码存储其三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入；r＝1，...，n_h，n_h表示即插即用无限形变融合特征提取模块注意力头部的个数，权重参数的维度分别为表示即插即用无限形变融合特征提取模块的比例因子；

5)：将通过三维空间融合得到对应头部的空间信息权重矩阵

其中n_h个组成空间信息权重矩阵集合

6)：将空间信息权重矩阵通过尺度变换函数F_u得到空间信息权重序列用于存储三维立体图像T′的三维空间特征信息，并作为后续融合头部自注意力特征公式中的位置信息输入：

其中λ＝h×w×d，n_h个组成空间信息权重序列集合R_ω会在后续计算融合头部自注意力公式的过程中对T′的空间信息进行迭代更新；

c：计算融合头部自注意力特征公式中的注意力强度矩阵，通过注意力权重矩阵和位置权重矩阵计算三维立体图像的注意力强度信息，用于提取三维立体特征图的全局注意力信息，包括

7)：通过步骤a中得到的注意力权重矩阵和步骤b中得到的位置权重矩阵，计算三维立体图像的注意力强度信息，提取三维立体特征图的全局注意力信息，计算融合头部自注意力特征公式中的注意力强度矩阵；

8)：将K^r的转置(K^r)′与Q^r进行矩阵相乘，的转置与Q^r进行矩阵相乘后的结果进行特征融合，得到三维立体图像块T′的注意力强度E^r：

其中E^r∈R^λ×λ；

d：构建融合头部自注意力特征公式中的融合头部自注意力机制，通过对多个并行运算的注意力头部中的逻辑和权重信息进行交叉融合，实现对三维立体特征图的层间结构化特征信息进行精准提取，包括

9)：引入可训练的注意力逻辑映射F_A，用于将n_h个并行运算的注意力头部中的逻辑信息进行特征融合，以获取融合后各个注意力头部之间的逻辑关联信息，然后通过Softmax层得到融合头部注意力逻辑信息H_A：

其中

10)：引入可训练的注意力权重映射F_B，将n_h个并行运算的注意力头部中的权重信息H_A进行特征融合，以获取融合后各个注意力头部之间的权重关联信息H_B：

H_B＝F_B(H_A)，

其中

11)：与n_h个并行运算的注意力头部中的V^r组成的矩阵进行矩阵相乘得到融合头部自注意力特征公式的输出结果H_V：

其中

12)：通过尺度变换函数F_S将融合头部自注意力特征公式的输出结果H_V重新投影回得到即插即用无限形变融合特征提取模块的输出结果

S4：构建由步骤S3中即插即用无限形变融合特征提取模块任意位置即插即用所组成的深度学习网络结构；

S5：将步骤S1所述的训练样本集，输入至步骤S4中所述的深度学习网络，得到训练后的深度学习网络模型；

S6：将步骤S1所述的测试样本集，输入至步骤S5中得到的训练后的深度学习网络模型，获取深度学习网络测试输出。