[发明专利]热像仪-RGB相机-IMU空间联合标定方法、系统和存储介质

说明书

本发明公开了一种热像仪‑RGB相机‑IMU空间联合标定方法、系统和存储介质，该方法包括热像仪图像特征定位和热像仪‑RGB相机‑IMU联合标定两个步骤，首先采用混合高斯分布模型定位LED阵列的热源中心位置，然后用热像仪图像中目标点的重投影误差、RGB图像角点的重投影误差和IMU的加速度及角速度误差构建目标函数，通过最小化目标函数来计算出三种传感器坐标系之间的空间关系。本发明方法适用于热像仪、RGB相机、IMU三种传感器间的联合标定，具有稳定、准确的优势。

技术领域

本发明属于图像处理技术和多元信息融合的技术领域，具体涉及一种热像仪-RGB相机-IMU空间联合标定方法、系统和存储介质。

背景技术

集成有热像仪、RGB相机和惯性测量单元(IMU)的多模态感知平台，可使得系统在复杂和恶劣的情况下具备环境感知的功能，例如对夜间行驶的车辆和行人进行检测；物体在剧烈运动背景下进行自我感知等。

热像仪是一种利用热成像技术，将显示物体温度分布的图像转换成可视图像的设备，它具有隐蔽性好、安全性高、探测能力强、作用距离远等优点。RGB相机能采集丰富的场景信息，在定位和导航领域应用广泛。IMU是测量物体三轴角速度以及加速度的装置，它提供了类似于人类内部前庭系统一样的自身惯性信息，在导航中有着重要的应用价值。热像仪、RGB相机、IMU在图像模态、感知精度和响应速度方面具有互补的优势，三者的有效融合受到机器人和自动化领域学者的广泛关注。热像仪、RGB相机和IMU之间有效且准确的标定是实现三者多模态感知和融合的前提，因此，本发明提出一种热像仪-RGB相机-IMU联合标定方法。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种热像仪-RGB相机-IMU空间联合标定方法、系统和存储介质，实现三种传感器的有效融合。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种热像仪-RGB相机-IMU空间联合标定方法，包括下述步骤：

热像仪图像特征定位，寻找热像仪标定板的目标点位置；

热像仪-RGB相机-IMU联合标定，将热像仪图像、RGB图像和IMU信息整合在一个统一的框架中，联合估计RGB相机、IMU、热像仪三个坐标系间的空间关系，包括热像仪和RGB相机空间标定、热像仪和IMU空间标定和RGB相机和IMU空间标定，然后通过最小化目标函数计算出待求的参数：

其中，T_rt表示热像仪坐标系相对于RGB相机坐标系的变换矩阵；T_ri表示惯性坐标系相对于RGB相机坐标系的变换矩阵；T_ti表示惯性坐标系相对于热像仪坐标系的变换矩阵，U_{repro,rgb,thermal}表示由RGB相机运动解算得到的热像仪图像热源中心的重投影误差，U_{repro,thermal,rgb}表示由热像仪运动解算得到的RGB图像热源中心的重投影误差，U_{repro,thermal,imu}表示由IMU运动解算得到的热像仪图像热源中心的重投影误差；U_α,ω,rgb表示由RGB相机运动解算得到的IMU惯性加速度和角速度的误差项之和，U_{α,ω,thermal}表示由热像仪运动解算得到的IMU惯性加速度和角速度的误差项之和；

T_rt,T_ri,T_ti满足以下约束：

T_ti·T_ri^-1·T_rt＝T_tr·T_rt＝I