[发明专利]一种多光谱图像和惯导融合的定位方法和计算系统

说明书

本发明公开了一种多光谱图像和惯导融合的定位方法和计算系统，所述定位方法包括：对当前帧可见光及红外图像进行二维特征点提取及特征点的同源匹配，根据匹配情况及环境等对图像的影响因素确定可见光和红外图像的融合权重；进行可见光、红外相机和惯导的联合初始化；通过紧耦合的视觉‑惯性里程计获得可见光图像、红外图像及惯导融合的局部地图优化位姿及含有空间坐标系信息的三维特征点的优化位置。本发明可融合可见光相机、红外相机和惯导信息，解决了无人系统在昏暗、光照多变等复杂场景下定位难的问题。

技术领域

本发明属于无人系统定位方法的技术领域。

背景技术

无人系统自主定位技术是智能机器人、无人驾驶领域的关键技术。在GPS不可用的环境中，无人系统主要基于视觉或激光雷达进行自主定位。大部分现有的基于视觉的无人系统自主定位技术只能在光照良好，视野清晰的情况下运行。基于激光雷达的自主定位技术在烟尘雨雾遮挡的环境中会出现位姿估计失败的问题。

针对昏暗、烟尘雨雾遮挡环境下无人系统位姿估计失败的问题，现有研究主要采用红外相机定位、可见光相机与惯性传感器融合定位、可见光相机与红外相机融合定位三种定位方法。其中，红外相机定位方法中，因红外图像存在分辨率低、信噪比低、纹理不清晰的缺陷，容易导致红外图像特征跟踪丢失，定位失效，并且单一依靠红外相机进行位姿估计的方法还存在鲁棒性不足的问题；可见光相机与惯性传感器融合定位方法可根据纯惯导定位应对短时间的视觉失效，但在长时间的昏暗环境下运行时，由于缺乏视觉约束，容易发生定位漂移的问题，且时间越长，惯导累计的零偏误差越大，导致定位精度低下，同时该方法不能有效利用视觉的感知信息，不能对惯导观测添加视觉约束，无法校正惯导误差；可见光相机与红外相机融合位姿估计方法中，可见光相机与红外相机融合模式较为固定，不能根据环境变化做出调整，无法在复杂多变的环境中实现精准定位，如在光线剧烈变化的场景中，可见光图像的跟踪精度较差，且按照单一融合方式将可见光图像进行融合将有损系统的定位精度。

总的来说，在昏暗条件下或光照多变等复杂场景下，由于成像设备捕获的光子数量有限，成像后的图像普遍存在能见度较差、细节丢失严重等问题，直接影响了现有方法中无人系统的定位性能，是无人系统定位方法中亟需解决的技术问题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种通过多光谱图像与惯导融进行精准定位的方法，该方法可实现无人系统在昏暗或者光照多变场景下的精准定位。

本发明的技术方案如下：

一种多光谱图像和惯导融合的定位方法，其包括：

S1对获得的当前帧可见光图像及红外图像分别进行特征提取，得到可见光图像特征点和红外图像特征点，并将当前帧可见光图像特征点及红外图像特征点分别与上一帧的可见光图像特征点和红外图像特征点进行特征匹配，匹配完成后，根据当前帧可见光图像及红外图像的亮度、纹理及其中稳定跟踪的特征点的数量确定当前帧可见光图像与红外图像的融合权重；

S2对获得的惯导测量数据进行预积分，获得预积分数据；

S3根据所述当前帧可见光图像、红外图像及所述预积分数据，进行相机和惯导的联合初始化，获得视觉-惯性的联合初始化值，并将联合初始化过程中建立的关键帧及其三维特征点加入局部地图中；

S4基于所述当前帧可见光图像与红外图像的融合权重及所述视觉-惯性的联合初始化值，构建含有帧状态量和三维特征点状态量的优化状态量，基于所述优化状态量，通过紧耦合的视觉-惯性里程计获得局部地图中全部帧的优化位姿和三维特征点的优化位置；其中，所述帧状态量含有位姿信息和惯导参数信息，所述三维特征点状态量含有三维特征点的位置信息；

S5基于优化后的局部地图中的关键帧的帧状态量和三维特征点状态量，通过词袋检测法进行回环检测；