[发明专利]应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

权利要求书

1.应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，应用于使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、以及作为双目的左侧热红外相机和右侧高清彩色相机；所述方法包括：

S1、进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；

S2、对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；

S3、实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；

S4、结合S2与S3，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；

S5、根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。

2.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S3所述确定跟踪拍摄对象的方法包括：

S101、将两个摄像头实时获取的图像作为输入图像；

S102、使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；

S103、将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；

S104、所有匹配好的目标中确定跟踪对象。

3.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S3所述得出跟踪拍摄对象相对于左侧相机坐标系的空间位置的具体步骤包括：

S201、将待跟踪目标在双目图像中的显著性特征部分等化成一个点或数个点；

S202、对目标特征部分点化处理后，利用已知的相机畸变参数算出其未发生畸变所在位置；

S203、利用立体视觉技术，求解出该点或数个点相对于左侧相机坐标系的空间位置。

4.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S4所述寻找下一个理想跟踪拍摄条件的左侧相机坐标系位姿的具体步骤包括：

S301、围绕跟踪拍摄对象在世界坐标系下的位置以跟拍间距为半径做一个球面；

S302、根据运动学模型正解求出左侧相机坐标系光心所能达到的工作空间；

S303、二者取交集得到限定性球形区域；

S304、根据项目实际需要添加不同的限定性条件，得到下一个理想跟踪拍摄条件时左侧相机坐标系原点在世界坐标系下的位置。

5.根据权利要求1所述的应用于巡检机器人的四位一体自适应跟踪拍摄方法，其特征在于，步骤S7的具体方法包括：

S401、跟拍时左侧相机坐标系原点到目标点的向量为跟拍时左侧相机坐标系的Z向量；

S402、X向量由Z向量的参数表示，X向量逆时针旋转九十度为Y向量；

S403、根据三个向量相互间点乘得0的特点，得到下一个理想拍摄位姿时左侧相机坐标系的姿态。