[发明专利]一种基于自然场景的车身环视相机自标定方法和系统

权利要求书

1.一种基于自然场景的车身环视相机自标定方法，其特征在于：包括以下步骤，

将载有环视相机的车辆位于标定场景下行驶；

初始模块(100)对设置于车身上的环视相机进行初始位姿估计和数据采集；

相机里程计标定模块(200)结合所述初始模块(100)估计的所述初始位姿和采集的里程计数据，计算出单个相机与里程计的变换矩阵；

场景恢复模块(300)根据所述初始位姿、所述变换矩阵和采集数据的图像内部特征点，恢复出标定场景点的坐标；

回环检测模块(400)判断车辆是否发生回环；

位姿图优化模块(500)根据所述回环检测模块(400)的检测结果，优化所述环视相机位置和姿态；

场景合并模块(600)将不同相机的场景点合并，完成地图的构建并计算相邻相机间的变换矩阵；

所述初始模块(100)包括采集车身运动时每个时刻的相机图像和里程计数据，保证相机图像和里程计数据的对齐；以及利用SLAM技术中的前端获取单个相机的所述初始位姿以及图像内部特征点数据；

所述初始模块(100)还包括初始相机的位姿估计的步骤，

计算SURF特征点和SURF描述子；

提取关键帧；

利用P3P计算相机位姿和内部特征跟踪点并进行小窗口的BA优化；

所述相机里程计标定模块(200)包括以下计算步骤，

将相机里程计标定作为手眼标定，得到公式如下：

求解相机里程计的变换矩阵。

2.如权利要求1所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景恢复模块(300)包括以下步骤，

采用三角测量方法计算2D特征点的3D点坐标；

采用BA优化移除错误的特征点。

3.如权利要求2所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述回环检测模块(400)通过BoW词袋模型的方法计算两幅图像之间的相似程度，判断车辆是否驶过历史位置，也即是否发生回环，包括以下步骤，

采用词包模型DBoW2查找图像之间的相似度；

若两幅图像间的相似度超过了设置的阈值，则判断为发生闭环检测，则进行闭环纠偏。

4.如权利要求2或3所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述位姿图优化模块(500)根据回环检测结果，使用BA方法优化相机位置和姿态；

依据slam的图优化技术，使用BA方法只保留关键帧的轨迹；

构建位姿图，有利于减小计算量并去掉误匹配点。

5.如权利要求4所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景合并模块(600)获取不同相机间的历史帧图像，通过计算不同相机图像间的局部特征点，找到对应的3D场景点进行合并，完成地图的构建并计算相机里程计矩阵。

6.如权利要求5所述的基于自然场景的车身环视相机自标定方法，其特征在于：所述场景合并模块(600)还包括以下步骤，

缓存一定历史长度的相机图像，计算每帧图像的特征点；

对历史图像帧进行特征点匹配，找到匹配点数量最多的图像；

合并图像特征点对应的场景点构建全局一致性地图；

将相机里程计之间的变换矩阵，转换为相邻相机间的变换矩阵。

7.一种采用如权利要求1～6任一所述的基于自然场景的车身环视相机自标定方法的系统，其特征在于：包括依次衔接的初始模块(100)、相机里程计标定模块(200)、场景恢复模块(300)、回环检测模块(400)、位姿图优化模块(500)和场景合并模块(600)；

所述初始模块(100)用于采集车身运动时每个时刻的相机图像和里程计数据，以及获取单个相机的初始位姿以及图像内部特征点数据；

所述相机里程计标定模块(200)用于计算单个相机与里程计的变换矩阵；

所述场景恢复模块(300)用于恢复出场景点的坐标后，输入所述回环检测模块(400)用于判断车辆是否驶过历史位置即是否发生回环；所述位姿图优化模块(500)用于根据回环检测结果，优化相机位置和姿态；

所述场景合并模块(600)用于完成地图的构建并将相机里程计之间的变换矩阵转换为相邻相机间的变换矩阵。