[发明专利]基于智能手机前后摄像头同时工作的视觉定位方法

摘要

本发明公开了一种基于智能手机前后摄像头同时工作的视觉定位方法，包括视觉数据获取及预处理、IMU数据获取及预处理和设备位置姿态估计三个步骤，通过智能手机的前后摄像头获取图像并进行简单预处理，给出可用于位置估计的图像数据；获取智能手机的IMU数据，同步数据刷新周期；融合图像和IMU数据，给出设备的位置和姿态估计。本发明采用智能手机的前后双摄像头避免室内光照变化频繁及单侧强光或弱光对算法的影响。在整个过程中，最终解算出的位置及姿态信息可以实时输出给无人飞行器等用于导航。

主权项

一种基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，包括以下步骤：(1)视觉数据获取及预处理：智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10‑20；对获得图像进行预处理；该步骤具体包括以下子步骤：(1.1)同时开启智能手机的前后摄像头，同步前后摄像头的获取速率，使其保持相同的帧速m获取图像数据，禁用自动对焦以避免焦距的改变；(1.2)图像到达时分别测量并判断其亮度，设置亮度阈值范围为[T1,T2]，判断每一帧图像亮度是否在亮度阈值范围内；如图像满足亮度条件，更新对应摄像头的时间标记，进入步骤(1.3)，否则直接抛弃图像；(1.3)若双侧摄像头采集的图像均满足亮度条件且获取时间距上次符合要求的图像的获取时间均没有超过时间阈值t，则将双侧图像数据送入步骤(3)进行融合；(1.4)若单侧摄像头图像获取时间距上次符合要求的图像的获取时间超过时间阈值t，则标记该摄像头图像数据无效，并把无效信息及另一侧图像数据送入步骤(3)，同时抛弃该摄像头所有已存储数据；(1.5)若双侧摄像头图像获取时间距上次符合要求的图像的获取时间均超过时间阈值t，则中止定位；(2)IMU数据获取及预处理：获得IMU数据，所述IMU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为n帧/秒；(3)根据步骤(1)预处理后的视觉数据和步骤(2)预处理后的IMU数据，进行设备位置和姿态估计，包括以下子步骤：(3.1)当仅有IMU数据，没有图像数据获得时，使用IMU数据扩展其状态和协方差矩阵；(3.2)当图像数据到达时，执行以下操作：(3.2.1)通过特征提取算法获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法减少特征匹配的误差；(3.2.2)根据步骤(3.2.1)获得的图像特征数据及步骤(3.1)获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波，获得摄像头的位置和姿态估计；(3.2.3)根据步骤(3.2.2)获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵；(3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。