[发明专利]一种多光谱图像和惯导融合的定位方法和计算系统

权利要求书

1.一种多光谱图像和惯导融合的定位方法，其特征在于：其包括：

S1对获得的当前帧可见光图像及红外图像分别进行特征提取，得到可见光图像特征点和红外图像特征点，并将当前帧可见光图像特征点及红外图像特征点分别与上一帧的可见光图像特征点和红外图像特征点进行特征匹配，匹配完成后，根据当前帧可见光图像及红外图像的亮度、纹理及其中稳定跟踪的特征点的数量确定当前帧可见光图像与红外图像的融合权重；

S2对获得的惯导测量数据进行预积分，获得预积分数据；

S3根据所述当前帧可见光图像、红外图像及所述预积分数据，进行相机和惯导的联合初始化，获得视觉-惯性的联合初始化值，并将联合初始化过程中建立的关键帧及其三维特征点加入局部地图中；

S4基于所述当前帧可见光图像与红外图像的融合权重及所述视觉-惯性的联合初始化值，构建含有帧状态量和三维特征点状态量的优化状态量，基于所述优化状态量，通过紧耦合的视觉-惯性里程计获得局部地图中全部帧的优化位姿和三维特征点的优化位置；其中，所述帧状态量含有位姿信息和惯导参数信息，所述三维特征点状态量含有三维特征点的位置信息；

S5基于优化后的局部地图中的关键帧的帧状态量和三维特征点状态量，通过词袋检测法进行回环检测；

S6当在所述回环检测中检测到了回环，则将局部地图内的三维特征点与回环帧进行匹配，建立回环帧与局部地图中的三维特征点的特征匹配关系，并据此进行重定位优化，得到重定位优化后的局部地图中的帧状态量和三维特征点状态量；

S7在完成所述重定位优化后，进行全局位姿优化，所述全局位姿优化只优化所有关键帧的位姿不优化三维特征点状态量；

S8在每新建一帧关键帧后，将该关键帧的相关数据加入关键帧数据库中，所述相关数据包括组成该关键帧的可见光图像和红外图像的特征点、词袋向量，及该帧的位姿，其中，各关键帧的位姿在每一次优化后进行更新，由更新后的每一帧关键帧的位姿作为定位系统的输出轨迹。

2.根据权利要求1所述的多光谱图像和惯导融合的定位方法，其特征在于：所述S1包括：

S11采用角点检测法分别提取RGB形式的当前帧可见光图像和含红外测试温度T的当前帧红外图像的特征，得到可见光特征点和红外特征点；

S12将提取得到的可见光特征点和红外特征点分别与上一帧的可见光特征点和红外特征点进行特征匹配，标记在连续多帧图像中均匹配成功的特征点为稳定跟踪的特征点；

S13将当前帧可见光图像进行亮度的定量分析，获得该可见光图像的当前帧亮度均值和基于该亮度均值设置的亮度权重因子；

S14将当前帧可见光图像进行结构纹理的定量分析，获得该可见光图像的当前帧与上一帧的结构相似度和基于该结构相似度设置的纹理权重因子；

S15根据所述亮度权重因子、纹理权重因子及所述稳定跟踪的特征点的数量，确定可见光图像和红外图像的自适应融合权重α和β。

3.根据权利要求2所述的多光谱图像和惯导融合的定位方法，其特征在于：所述自适应融合权重α和β通过以下权重计算模型确定：

β＝1-α

其中，W_i为亮度权重因子，W_s为纹理权重因子，S_R为可见光图像中稳定跟踪的特征点的数量，S_T为红外图像中稳定跟踪的特征点的数量，且：

其中，I_i为第i帧的亮度均值，I_i-1为第i-1帧的亮度均值；

其中，SSIM表示SSIM值。

4.根据权利要求1所述的多光谱图像和惯导融合的定位方法，其特征在于：所述S3包括：

S31对可见光相机和红外相机进行纯视觉初始化，所述纯视觉初始化包括位姿初始化和相机的外参初始化，得到位姿初始化值及不同相机间的平移外参的初始化值；

S32通过紧耦合方式对惯导系统进行纯惯导初始化，得到惯导参数的初始化值；

S33对可见光相机、红外相机、惯导系统进行视觉-惯性联合初始化，得到联合后的位姿及惯导参数初始化值，即所述视觉-惯性的联合初始化值。