[发明专利]一种基于多帧伪标签数据增强的机器人在线手眼标定方法

说明书

本发明公开了一种基于多帧伪标签数据增强的机器人在线手眼标定方法，所述方法包括：生成多张合成机器人图片与关键点标签作为合成数据集；利用合成数据集对关键点检测模型进行训练得到预训练关键点检测模型，基于所述预训练关键点检测模型检测真实场景机器人图片，得到真实场景机器人关键点伪标签数据，利用多帧伪标签数据增强方法得到增强后的机器人关键点伪标签数据，并微调预训练关键点检测模型得到最终的机器人关键点检测模型；计算关键点三维坐标集合，二维关键点集合和相机内参，并完成在线手眼标定。本发明联合多帧机器人图像信息，共同估计手眼关系，再重投影得到标签的过程，提升了伪标签的准确性，从而能提升系统在线手眼标定的性能。

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种基于多帧伪标签数据增强的机器人在线手眼标定方法、系统、终端及计算机可读存储介质。

背景技术

赋予机器人视觉可以使其具有适应复杂、新颖任务的灵活性，而如何获得机器人与外部搭载的相机间的姿态关系，是机器人视觉研究中的基础问题，该问题也被称为手眼标定问题(hand-eye calibration problem，例如将机器人视为手，外部搭载的相机视为眼)。

针对手眼标定问题，以眼在手外(eye to hand)为例，传统的解决方法是先固定机器人的基座与相机在世界坐标系中的位置，然后改变机器人末端姿态，通过机器人基座与相机位置间的不变性，建立形式为AX＝BX的方程并求解，其中，表示处于姿态1时，基座到末端的变换关系，表示处于姿态2时，末端到基座的变换关系，表示处于姿态1时，标定板到相机的变换关系，表示处于姿态2时，相机到标定板的变换关系，表示相机到基座的变换关系。

最后解出的X为机器人基座与相机间的位姿关系，即为手眼关系。对于AX＝BX的求解，具体的求解方法有分离求解法，同步求解法，和迭代求解法等。通过上述方法所求解出的手眼关系虽能满足基本的机器人操作应用，但其标定过程十分繁琐且需要线下进行。毫无疑问，依赖传统方法难以做到在工业生产中快速部署机器人。因此，探索机器人的在线手眼标定方法十分必要。

近年来，随着深度神经网络的兴起和研究者们对在线手眼标定方法研究的不断深入，涌现出不少基于深度神经网络的在线手眼标定方法以应对传统手眼标定算法步骤繁琐的问题，这些方法通常训练一个关键点检测网络，结合机器人正运动学与PnP算法(Perspective-n-Point是求解3D到2D点对运动的方法，当知道n个3D空间点以及他们的投影位置时，估算相机所在的位姿，特征点的3D位置可以由三角化或者RGB-D相机的深度图确定，因此，在双目或者RGB-D的视觉里程计中，可以直接使用PnP估计相机运动)完成手眼标定，然而，目前基于深度学习的手眼标定算法存在仅使用合成数据所训练模型的泛化性差和真实数据标注成本高的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于多帧伪标签数据增强的机器人在线手眼标定方法、系统、终端及计算机可读存储介质，旨在解决现有技术中基于深度学习的手眼标定算法存在仅使用合成数据所训练模型的泛化性差和真实数据标注成本高的问题。

为实现上述目的，本发明提供一种基于多帧伪标签数据增强的机器人在线手眼标定方法，所述基于多帧伪标签数据增强的机器人在线手眼标定方法包括如下步骤：

生成多张机器人模型动画序列，将所述机器人模型动画序列进行领域随机化，并输出多张合成机器人图片与关键点标签作为合成数据集；

对所述合成数据集进行预处理，利用预处理后的所述合成数据集对关键点检测模型进行训练得到预训练关键点检测模型，基于所述预训练关键点检测模型的编码器抽取图片的特征信息得到特征图，再使用解码器将特征图映射为多张置信图，并根据置信图得到关键点坐标；