[发明专利]应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置

说明书

本发明提供一种应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置，进行双目标定，对巡检机器人进行运动学建模，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；求出跟踪拍摄对象在世界坐标系下的位置；根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。本发明基于双目立体定位技术和视觉跟踪技术，按照既定的相机所拍摄目标物体位姿等拍摄要求对机器人底盘、升降架、双目云台进行自适应控制，克服目标经常变换位姿、难以跟拍等问题，从而达到尽可能恒定的理想位姿目标连续跟踪拍摄。

技术领域

本发明属于机器人目标跟踪技术领域，具体涉及一种基于双目视觉的巡检机器人四位一体目标跟踪拍摄方法。

背景技术

机器人的跟踪拍摄技术有着广泛的应用价值，尤其是应用于畜禽养殖行业。畜禽的个体行为以及体表信息可以反映其健康情况，通常需要人为对其进行观察，了解其状况，因此可以结合机器人跟踪拍摄技术跟踪拍摄目标畜禽的行为。

现有的巡检机器人跟踪技术通常在目标跟踪时受到位姿限制不能获得高质量的跟踪效果。例如：在畜禽养殖行业中的牧场中单纯地使用固定位置的摄像头跟踪拍摄目标畜禽并获得其活动轨迹等信息，这种方案如果视场够大，可以全程跟踪拍摄畜禽，但是由于距离远近、畜禽的位姿等问题，会造成拍摄效果不佳；如果视场小，虽然可以一定程度保证拍摄效果，但是当畜禽超出视场之后无法进行一个连续的跟踪拍摄；又例如：在畜禽养殖行业中的小栏区中使用滑轨式摄像头从上方跟踪拍摄目标畜禽的个体行为等信息，虽然可以始终跟拍畜禽但是拍摄角度固定在了目标上方不能获得其他位姿的信息。

这两种方案都存在技术缺陷，难以克服在目标跟踪时受到位姿限制不能进行理想拍摄的问题。

发明内容

针对上述问题，本发明提出了应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置，克服目标经常变换位姿、活动范围大到难以跟拍等问题。

为达到上述目的，本发明的技术方案是这样实现的：

应用于巡检机器人的四位一体自适应跟踪拍摄方法，应用于使用双目云台跟踪拍摄目标物体的巡检机器人，巡检机器人包括机器人底盘、设置于机器人底盘上的升降机构、设置于升降机构上的双目云台、以及作为双目的左侧热红外相机和右侧高清彩色相机；所述方法包括：

S1、进行双目标定，建立图像坐标系与双目相机坐标系映射关系，将世界坐标系建立在左侧相机相机坐标系上，得到两个相机的内参矩阵、外参矩阵和畸变矩阵；

S2、对巡检机器人进行运动学建模，得到机器人底盘、升降机构、双目云台、目标物体的四位一体控制的运动学模型，并根据该运动学模型求解出左侧相机坐标系相对于世界坐标系的位姿关系；

S3、实时读取双目相机拍摄到的图像，确定跟踪拍摄对象，得出其相对于左侧相机坐标系的空间位置；

S4、结合S2与S3，求出跟踪拍摄对象在世界坐标系下的位置；根据跟踪拍摄对象在世界坐标系下的位置以及设定的跟踪拍摄间距得到一个球形区域，根据需求寻找到下一个理想跟踪拍摄条件的左侧相机坐标系位姿；

S5、根据巡检机器人的运动学模型求逆解，得到所述下一个理想跟踪拍摄条件时巡检机器人的各部件运动变量，控制机器人到达相应位置。

进一步的，步骤S3所述确定跟踪拍摄对象的方法包括：

S101、将两个摄像头实时获取的图像作为输入图像；

S102、使用目标检测神经网络检测模型对输入图像进行目标检测，得到若干目标在图像中所在的ROI区域；

S103、将两幅图像所有ROI区域中的目标进行特征点提取特征提取进而匹配，找出其对应关系；