[发明专利]一种折反射全景相机与IMU传感器的标定方法

说明书

一种折反射全景相机与IMU传感器的标定方法，属于相机标定的技术领域，为了解决现有技术存在的问题，该方法包括以下步骤：根据折反射相机内参，通过EPNP算法对外参进行计算，应用N个三维点建立约束计算控制点在相机坐标系下的坐标，从而获得折反射全景相机的外参；获取IMU的测量数据，对其进行预积分处理，根据测量模型以及对预积分关于偏置的估计量，推导出下一关键帧的状态信息，通过奇异值分解求解IMU的外参数据；根据折反射全景相机和IMU的测量模型找到两者坐标系之间的关系，对构建重投影误差以及相机和IMU之间的位姿估计值，优化折反射相机‑IMU之间外部参数，得到最终的外部参数标定数，实现折反射全景相机与IMU对外参进行准确标定。

技术领域

本发明属于相机标定的技术领域，具体涉及一种折反射全景相机与IMU传感器的标定方法。

背景技术

相机标定是计算机视觉中的基本问题之一，是视觉测量研究长期以来的热点问题。由于相机内部结构、成像机理的差异、相机运动以及传感器的测量值都会因为各种各样的原因(如电磁千扰，人工安装不准确等)与真实值产生偏差，导致获得的图像都存在不同程度的畸变，因此必须对传感器和相机建模和标定，掌握传感器测量特性和相机的畸变特性，以获取精确的相机参数建立相机模型，从而获取良好的图像信息并提高其精度。相机的标定基本上分为两种，第一种是相机的自标定；第二种是依赖于标定参照物的标定方法。前者是相机拍摄周围物体，利用相机运动的约束信息，找到相机图像平面上的交点来标定得到相机参数，但是这种方法标定的结果是基于曲面和二次曲线的方法，误差较大，鲁棒性差，不适合于高精度应用场合。后者是通过标定参照物，由相机成像，并通过图像坐标系、相机坐标系和世界坐标系的相互转换，以及后期的空间算术运算计算相机的内参和外参。这种方法标定的精度高，适用于对精度要求高的应用场合。传统相机的标定是一个线性问题，而折反射全景相机的标定是非线性问题，目前存在的方法多数都是针对传统相机，而对于折反射全景相机与惯性测量单元(IMU)的外参标定仍是一个富有挑战性的问题。

折反射全景成像系统与传统相机系统相比，在传统相机的基础上通过增加一个反射元件来实现扩大视场，其最大空间视场范围可以达到半球。且折反射全景成像系统利用了具有旋转对称性的二次曲面的凸面作为反射镜，将视场内的光线进行收集压缩并反射到下方的摄像机系统中，最终实现环视的全景成像。而IMU能获取自身的加速度、角速度等信息，用于检测和测量加速度与旋转运动的传感器。IMU可以提供一个相对的定位信息，通过测量相对于起点物体所运动的路线，来确定，通过结合对折反射全景相机可以实现相对精准的定位。因此基于折反射全景相机与IMU传感器的外参标定方法对于精度的影响有着很大的作用。

中国专利公开号为“CN105678783A”，专利名称为“折反射全景相机与激光雷达数据融合标定方法”，该方法主要是对全景相机内部的参数进行有效标定，但是缺少外参标定以及数据优化。

中国专利公开号为“CN111207774A”，专利名称为“一种用于激光-IMU外参标定的方法及系统”，该方法主要是针对激光与IMU紧耦合，对激光-IMU外参进行标定，但是该系统视场有限。

发明内容

本发明为了解决折反射全景相机与激光雷达缺少外参标定和数据优化，会使测量出现误差；以及激光视场有限的问题；提出一种折反射全景相机与IMU传感器的外参标定方法。

本发明解决其技术问题所采用的技术方案：

一种折反射全景相机与IMU传感器的外参标定方法，该方法包括以下步骤：

步骤1、获取折反射全景相机的外参：根据折反射相机内参，通过EPNP算法对外参进行计算，应用N个三维点建立约束计算控制点在相机坐标系下的坐标，通过这种方式减小真是特征点对相机位姿估计误差的影响，从而获得折反射全景相机的外参；

步骤2、获取IMU传感器的外参：，获取IMU的测量数据，对获得的IMU数据进行预积分处理，根据测量模型以及对预积分关于偏置的估计量，推导出下一关键帧的状态信息，通过奇异值分解求解IMU的外参数据；