[发明专利]单目相机-IMU-机械臂的空间联合标定方法

说明书

本发明提出了一种单目相机‑IMU‑机械臂的空间联合标定方法。将单目相机和惯性测量单元(IMU)固定在机械臂末端执行器附近，可以有效地协助机械臂进行运动估计和场景感知。单目相机、IMU和机械臂之间可靠、准确的标定是实现随动感知的前提。该方法包括单目相机‑IMU联合标定、单目相机‑机械臂联合标定、IMU‑机械臂联合标定和统一框架下的联合标定四个步骤。这种方法能够可靠且准确地关联单目相机、IMU和机械臂之间的空间关系。该方法采用先估计旋转矩阵，再估计平移向量的方式来解决平移向量误差易耦合到旋转矩阵估计的问题。本发明方法适用于对单目相机、IMU和机械臂进行联合标定，具有稳定、准确的优势。

技术领域

本发明涉及多源信息融合技术和图像处理技术，具体地说是一种单目相机-IMU-机械臂的空间联合标定方法。

背景技术

智能化的机械臂通常配有多模态感知单元，比如视觉传感器、惯性传感器，触觉传感器、力觉传感器等，通过多模态信息采集与处理来实现机械臂对自身和周围环境的感知功能。虽然市场上已有的感知模块，比如深度相机、激光雷达和双目相机能够有效做出载体的运动估计和深度估计，但由于其感知空间受限、反射敏感、感知单元尺寸过大等原因而无法适用于机械臂随动感知系统。

而单目相机、IMU在感知精度和响应速度方面具有互补的优势。单目相机能够采集丰富的场景信息，在定位和导航领域应用广泛。IMU是测量物体三轴角速度和加速度的装置，它提供了类似于人类内部前庭系统一样的自身惯性信息，在导航中有着重要的应用价值。所以将单目相机和IMU固定在机械臂末端，可以有效地协助机械臂进行运动估计和场景感知。单目相机、IMU和机械臂之间可靠、准确的标定是实现随动感知的前提，因此，本发明提出一种单目相机-IMU-机械臂的联合标定方法。

发明内容

本发明提出了一种单目相机-IMU-机械臂的空间联合标定方法，该方法能够实现三者的有效融合。

所采用的技术方案是：一种单目相机-IMU-机械臂的空间联合标定方法，包括以下步骤：

步骤1：单目相机和IMU单元固定在机械臂末端，设定机械臂运动轨迹，即机械臂末端执行器坐标系{R}下的位置变化：控制机械臂带动末端的IMU单元和单目相机移动；移动过程中，IMU单元自动获取与机械臂运动轨迹相对应的IMU实际移动的姿态序列，即IMU坐标系{I}下的位置变化：{I₁→I₂→I₃→…}，单目相机拍摄标定板目标图像，并实时定位单目相机坐标系{C}下的位置：{C₁→C₂→C₃→…}；

步骤2：对单目相机、IMU、机械臂两两之间进行分别标定，获取单目相机坐标系{C}、IMU坐标系{I}、机械臂末端执行器坐标系{R}两两之间的空间变换关系；

步骤3：根据上述三个坐标系之间的变换关系获取统一框架下的联合标定模型，判断模型是否收敛，若不收敛则返回步骤1按照设定的机械臂运动轨迹控制机械臂末端执行器再次运动执行建模步骤直到模型收敛结束；从而获取优化的单目相机-IMU-机械臂的空间联合标定模型。

所述分别标定包括三个步骤：

步骤2.1：通过最小化IMU旋转和单目相机旋转之间的差异值来计算偏差，在迭代过程中计算角速度偏差估计用于估计单目相机-IMU旋转矩阵计算加速度偏差估计用于估计单目相机-IMU平移向量，并迭代更新相关参数，获取单目相机-IMU联合标定；

步骤2.2：通过单目相机跟随机械臂运动的位姿，获取单目相机-机械臂联合标定；

步骤2.3：通过IMU跟随机械臂运动的位姿，获取IMU-机械臂联合标定。

包括：步骤2.1.1：角速度偏差估计：

单目相机在时刻t到t+1之间的旋转可以由下式给出：