[发明专利]位姿估计网络训练及定位方法、装置、设备、存储介质

说明书

本发明提供一种位姿估计网络训练及定位方法、装置、设备、存储介质。方法包括：以真实样本图像为基准，对各真实样本图像中的样本对象的目标检测结果进行随机采样，获取各真实样本图像中的样本对象的至少一个随机采样样本图像；基于各真实样本图像中的样本对象的置信度图、在标准坐标系下的坐标图、在相机坐标系下的深度图，以及，样本对象的至少一个随机采样样本图像对位姿估计网络进行训练，得到训练好的位姿估计网络；在网络训练阶段，位姿估计网络用于基于输入的图像，估计所输入的对象的置信度图、所输入的对象在标准坐标系下的坐标图，以及，所输入的对象在相机坐标系下的深度图。本发明提出的方法提高了位姿估计网络的鲁棒性。

技术领域

本发明涉及计算机视觉技术，尤其涉及一种位姿估计网络训练及定位方法、装置、设备、存储介质。

背景技术

在机器人操控技术领域中，可以通过获取机器人操控的物体的六自由度姿态信息，来提高机器人操控的准确性。其中，物体的六自由度指的是物体在三维空间中的六个自由度，该六个自由度分别为物体在空间直角坐标系沿x、y、z三个直角坐标轴方向的移动自由度，以及，绕这三个坐标轴的转动自由度。即物体的六自由度姿态信息包括物体在三维空间中的位置以及姿态(简称位姿)。

目前，对于现有的获取物体的六自由度姿态信息的方法，主要是在实例级上进行的研究。然而基于实例级方法只能获取特定的一个或者几个物体的六自由度姿态信息，即使用实例级方法获取物体六自由度姿态信息的局限性较大。因此，一些方案在实例级方法的基础上，提出了类别级方法。使用类别级方法获取物体的六自由度姿态信息时，可以获取预设类别内的所有物体的六自由度姿态信息。然而，该类别级方法在面对不同类别的待测物体时的鲁棒性较差。

发明内容

本发明提供一种位姿估计网络训练及定位方法、装置、设备、存储介质，以提高位姿估计网络的鲁棒性。

第一方面，本发明提供一种位姿估计网络训练方法，所述方法包括：

获取样本图像集；其中，所述样本图像集中的真实样本图像包括预设类别的样本对象，所述真实样本图像为对所述样本对象所属的原始图像进行目标检测得到的；

以各所述真实样本图像为基准，对各所述真实样本图像中的所述样本对象的目标检测结果进行随机采样，获取各所述真实样本图像中的所述样本对象的至少一个随机采样样本图像；

基于各所述真实样本图像中的所述样本对象的置信度图、在标准坐标系下的坐标图、在相机坐标系下的深度图，以及，所述样本对象的至少一个随机采样样本图像对位姿估计网络进行训练，得到训练好的位姿估计网络；其中，所述标准坐标系为基于所述样本对象在所述真实样本图像中的位置和朝向建立的坐标系；所述位姿估计网络用于基于输入的图像，估计所输入的对象的置信度图、所输入的对象在标准坐标系下的坐标图，以及，所输入的对象在相机坐标系下的深度图。

可选的，所述以各所述真实样本图像为基准，对各所述真实样本图像中的所述样本对象的目标检测结果进行随机采样，获取各所述真实样本图像中的所述样本对象的至少一个随机采样样本图像，包括：

获取所述真实样本图像的中心点的二维坐标，以及，所述真实样本图像的长与宽，所述二维坐标包括所述中心点在x轴上的第一取值和在y轴上的第二取值；

从所述第一取值的概率分布中随机采样第一采样值，从所述第二取值的概率分布中随机采样第二采样值，并从第三取值的概率分布中随机采样第三采样值；其中，所述第三取值为所述长与所述宽中的最大值；

以所述第三采样值作为所述样本对象的随机采样检测框，所述第一采样值作为所述随机采样检测框的中心点在x轴上的取值，所述第二采样值作为所述随机采样检测框的中心点在y轴上的取值，得到初始随机采样样本图像；

将所述初始随机采样样本图像缩放至预设尺寸，得到所述随机采样样本图像。