[发明专利]基于深度相位相关的异构三维观测配准方法、介质及设备

说明书

本发明公开了一种基于深度相位相关的异构三维观测配准方法、介质及设备。本发明将相位相关算法优化为全局收敛的可微分相位相关求解器，并将其与简单的特征提取网络相结合，从而构建了一个整体框架可微分且能够端到端训练的异构三维观测配准方法。本发明针对三维的物体、场景测量以及医疗图像数据均可以实现准确的三维观测配准，而且其配准表现高于现有基线模型。

技术领域

本发明属于计算机视觉以及深度学习领域，具体涉及一种本发明属于计算机视觉以及深度学习领域，具体涉及一种基于深度相位相关的异构三维观测配准方法、介质及设备。

背景技术

异构观测配准是一种在视觉和机器人技术中至关重要的技术，其用于对存在角度、比例、视角等差异的两个观测对象进行配准。而且这种观测可以是图像、点云、网格模型等等。

在现有技术中，申请号为CN202110540496.1的发明专利公开了一种基于神经网络的异构图像位姿估计及配准方法、装置及介质。该方案将相位相关算法优化为为可微分，并将其嵌入到端到端学习网络框架中，构建了一种基于神经网络的异构图像位姿估计方法。该方法能够针对图像匹配的结果找到最优的特征提取器，从而准确实现异构图片的准确位姿估计和配准。但是该配准方法仅限用于二维图像中，无法实现三维观测对象的配准。

而对于三维观测的配准而言，特别是对同构和异构观测的无初值位姿配准任务，其自由度最高可达7个，远远高于二维图像的配准任务。虽然基于学习的方法证明了使用可微分求解器的较好前景，但它们要么依赖于启发式定义的对应关系，要么容易出现局部最优。因此，针对三维观测的配准，设计一套可以端到端训练的位姿配准方法，用以完成针对异构传感器的匹配，是现有技术中亟待解决的技术问题。

发明内容

本发明的目的在于解决现有技术中三维观测难以配准的问题，并提供一种基于深度相位相关的异构三维观测配准方法。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种基于深度相位相关的异构三维观测配准方法，用于对三维且异构的第一目标观测和源观测进行配准，其包括：

S1、以预先经过训练的第一3D U-Net网络和第二3D U-Net网络作为两个特征提取器，分别以异构的第一目标观测和源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第一3D特征图和第二3D特征图；

S2、将S1中得到的第一3D特征图和第二3D特征图分别进行傅里叶变换后取各自的3D幅度谱；

S3、将S2中得到的两个3D幅度谱分别进行球坐标变换，使其从笛卡尔坐标系转换到球坐标系中成为球型表征；再将得到的两个球型表征分别沿其内半径由里向外进行积分，将每个球型表征中的所有表征信息映射到球面，从而得到两个球面表征；

S4：将S3中得到的两个球面表征进行相位相关求解，得到二者之间的旋转变换关系；

S5：将所述第一目标观测按照S4中得到的旋转变换关系进行旋转，从而得到与源观测之间仅保留平移变换和缩放变换的第二目标观测；

S6：以预先经过训练的第三3D U-Net网络和第四3D U-Net网络作为两个特征提取器，分别以S5中得到的第二目标观测和所述源观测作为两个特征提取器的输入，提取两个观测中的同构特征，得到同构的第三3D特征图和第四3D特征图；

S7：将S6中得到的S6中分别进行傅里叶变换后取各自的3D幅度谱；

S8：将S7得到的两个3D幅度谱各自沿Z轴累加，使得两个3D幅度谱分别被压缩成2D幅度谱；

S9：将S8得到的两个2D幅度谱进行对数极坐标变换，将二者从笛卡尔坐标系转换到对数极坐标系中，从而使两个2D幅度谱之间笛卡尔坐标系下的缩放变换被映射成对数极坐标系中x方向上的平移变换；