[发明专利]用于三维几何引导的师生特征匹配(3DG-STFM)的系统

权利要求书

1.一种用于三维几何引导的师生特征匹配(3DG-STFM)的系统，包括：

多模态教师模型，用于确定一对RGB-D图像之间的特征匹配，其中，每个RGB-D图像为RGB图像及其对应深度图像的组合，所述深度图像为图像通道，所述图像通道中的每个像素与所述RGB图像中图像平面与对应对象之间的距离有关；

单模态学生模型，用于从所述RGB图像对和所述教师模型中确定特征匹配，其中，所述教师模型引导所述学生模型学习RGB诱导深度信息，以进行粗级和细级特征匹配；

粗级知识转移损失函数，用于确定将粗级匹配知识从所述教师模型转移到所述学生模型的损失；以及

细级知识转移损失函数，用于确定将细级匹配知识从所述教师模型转移到所述学生模型的损失，且引导所述学生模型优先学习细级预测分布。

2.如权利要求1所述的系统，其中，每个所述教师模型和所述学生模型均包括特征金字塔网络(FPN)，所述FPN用于从所述图像对中提取具有1/8原始图像分辨率的粗级局部特征和具有1/2原始图像分辨率的细级特征。

3.如权利要求2所述的系统，其中，所述教师模型的FPN为所述RGB-D图像的四通道输入，所述学生模型的FPN为所述RGB图像的三通道输入，其中D表示深度信息。

4.如权利要求2所述的系统，其中，每个所述教师模型和所述学生模型还包括粗级局部特征转换模块、粗级匹配模块和细级匹配模块。

5.如权利要求4所述的系统，其中，所述粗级局部特征转换模块用于：

将提取的粗级特征图展平为一维向量；

对展平的一维向量进行位置编码，以对每个特征条目分配一个正弦格式的唯一嵌入向量，从而对空间信息进行编码；以及

通过包含自注意力层和交叉注意力层的粗级匹配转换器处理已编码的局部特征向量，以生成包含相关矩阵的逻辑层。

6.如权利要求5所述的系统，其中，所述自注意力层和所述交叉注意力层以L_c的倍数交错在所述粗级匹配转换器中。

7.如权利要求5所述的系统，其中，所述粗级匹配模块用于：

通过在行方向和列方向上对所述相关矩阵S_c应用双重softmax操作来生成置信分数矩阵P_c，其中：

P_c(i,j)＝softmax(S_c(i,·)_j)*softmax(S_c(·,j)_i)

P_c(i,j)为匹配位置(i，j)处的匹配概率；以及

选择概率分数高于阈值θ_c的匹配对以生成粗级匹配预测。

8.如权利要求7所述的系统，其中，给定从对应标签导出的真值矩阵，通过下式计算测量所述粗级局部特征转换模块和所述粗级匹配模块性能的交叉熵损失：

其中为真值标签生成的对应集，具有预测概率p的FL为焦点损失项，用于解决匹配和不匹配对之间的不平衡。

9.如权利要求7所述的系统，其中，所述细级匹配模块用于：

将粗匹配位置(i,j)投影到细级特征图的位置处，并从相邻的规格为w×w的窗口中提取其特征作为匹配候选；

对选定的粗级特征进行上样，并将已上样的粗级特征与所述细级特征相关联；以及

通过细级匹配转换器处理关联的细级特征，以预测子像素级的对应关系。

10.如权利要求9所述的系统，其中，所述细级匹配转换器包含L_f自注意力层和交叉注意力层，以聚合细级局部信息并生成用于位置细化的热图分布。