[发明专利]用于三维几何引导的师生特征匹配(3DG-STFM)的系统

说明书

本发明公开了一种用于三维几何引导的师生特征匹配的系统，包括多模态教师模型、单模态学生模型、粗级知识转移损失函数和细级知识转移损失函数。多模态教师模型用于确定一对RGB‑D图像之间的特征匹配，每个RGB‑D图像为RGB图像及其对应深度图像的组合。单模态学生模型用于从RGB图像对和教师模型中确定特征匹配，教师模型引导学生模型学习RGB诱导深度信息，以进行粗级和细级特征匹配。粗级知识转移损失函数用于确定将粗级匹配知识从教师模型转移到学生模型的损失。细级知识转移损失函数用于确定将细级匹配知识从教师模型转移到学生模型的损失，且引导学生模型优先学习细级预测分布。

技术领域

本发明涉及图像处理领域，特别涉及一种用于三维几何引导的师生特征匹配(3DG-STFM)的系统，以在重叠图像之间建立对应关系。

背景技术

建立重叠图像之间的对应关系对于许多计算机视觉任务至关重要，比如运动推断结构(SfM)、即时定位与地图构建(SLAM)、视觉定位等。

大多数解决该问题的现有技术遵循经典的三阶段流程，即特征检测、特征描述和特征匹配。为了生成不受光照或视角变化影响的鲁棒描述子，对传统的手动特征描述子，例如SIFT、SURF和BRISK，和深度网络表示特征进行了深入研究。通过基于最近邻搜索或可学习匹配策略的匹配算法可以产生点对点对应。

利用图形神经网络(GNN)，基于学习的匹配系统SuperGlue在两组关键点之间构建密集连接的图。使用自注意力和交叉注意力机制在GNN中集成和交换关键点的几何相关性及其视觉特征。然而，那些基于检测器的局部特征匹配算法只产生稀疏的关键点，尤其是在低纹理区域。

因此，在本领域仍需要解决上述缺陷和不足。

发明内容

基于上述现有技术中的缺陷与不足，本发明的一个目的在于提供一种框架/架构，利用RGB诱导的深度信息来提高局部特征匹配性能。本发明的另一个目的在于提供一种模型压缩系统，以训练出高效、轻权重的模型，从而消耗更少的计算资源，其匹配质量和准确性更高。特别地，本发明提供了一种三维几何引导的师生特征匹配(3DG-STFM)的系统，这是一种师生学习框架，可以将多模态教师模型学到的深度知识转移到单模态学生模型，从而对局部特征匹配进行改进。

在本发明的一个方面，该系统包括多模态教师模型和单模态学生模型。用于确定一对RGB-D图像之间的特征匹配，其中，每个RGB-D图像为RGB图像及其对应的深度图像的组合。深度图像为图像通道，该图像通道中的每个像素与RGB图像中图像平面与对应对象之间的距离有关。单模态学生模型用于从RGB图像对和教师模型中确定特征匹配，其中教师模型引导学生模型学习RGB诱导深度信息，以进行粗级和细级特征匹配。该系统还包括粗级知识转移损失函数和细级知识转移损失函数。粗级知识转移损失函数用于确定将粗级匹配知识从教师模型转移到学生模型的损失，细级知识转移损失函数用于确定将细级匹配知识从教师模型转移到学生模型的损失，且引导学生模型优先学习细级预测分布。

在一实施例中，每个教师模型和学生模型均包括特征金字塔网络(FPN)，用于从图像对中提取具有1/8原始图像分辨率的粗级局部特征和具有1/2原始图像分辨率的细级特征。

在一实施例中，教师模型的FPN为RGB-D图像的四通道输入，学生模型的FPN为RGB图像的三通道输入，其中D表示深度信息。

在一实施例中，每个教师模型和学生模型还包括粗级局部特征转换模块、粗级匹配模块和细级匹配模块。

在一实施例中，粗级局部特征转换模块用于：

将提取的粗级特征图展平为一维向量；

对展平的一维向量进行位置编码，以对每个特征条目分配一个正弦格式的唯一嵌入向量，从而对空间信息进行编码；以及

通过包含自注意力层和交叉注意力层的粗级匹配转换器处理已编码的局部特征向量，以生成包含相关矩阵的逻辑层。