[发明专利]一种动态环境下基于卷积神经网络架构的视觉里程计方法

说明书

本发明提出一种动态环境下基于卷积神经网络价架构的视觉里程计方法，该方法设计了一个由两个串联的卷积神经网络构建的视觉里程计系统DCVO，通过端到端的方式对AR设备进行快速稳定准确的跟踪定位。其中第一个网络同时进行特征点提取与像素级语义分割，记为Multitask‑Net；第二个网络估计相机相对运动，记为Pose‑Net。该方法通过剔除语义动态特征点的方式减轻了运动物体对位姿估计的干扰，保证了后续位姿估计的稳定性；同时以端到端的方式避免了常规特征法中描述子计算与匹配的耗时，有效缩短了位姿估计的时间。

技术领域

本发明属于基于自然图像处理的三维空间跟踪注册领域，涉及一种动态环境下连续运动相机的实时定位方法，具体涉及一种基于卷积神经网络架构的静态特征点提取与相对位姿估计的视觉里程计方法。

背景技术

增强现实(Augmented Reality,AR)技术借助光电显示、人机交互等技术将计算机生成的虚拟物体或辅助性图文信息与用户周围的真实环境相融合，从感官效果上实现对真实世界的增强，被广泛应用于军事，医疗，教育等领域。一个完整的AR系统具备三个关键技术：跟踪注册，虚实融合，实时交互。其中跟踪注册是指在用户的运动过程中保持虚拟物体与真实场景的无缝叠加，需要对用户佩戴的AR设备进行三维空间中的定位跟踪，然后在此基础上进行虚拟物体在真实空间中的定位。跟踪注册通常由基于自然图像识别的同时定位与建图(Simultaneous Localization and Mapping,SLAM)技术实现。

用于AR跟踪注册的视觉SLAM(Visual SLAM,VSLAM)系统以AR设备装配的相机作为采集设备，负责对相机所处的位置与姿态做出实时估计，并构建周围环境的三维点云地图。一个常规的VSLAM系统主要分为前端视觉里程计(Visual Odometry,VO)和后端优化两部分，其中VO负责提取相机采集图像的特征点，然后基于前后图像帧的特征点的匹配关系估计相机位姿矩阵，由于相机的观测误差不可避免，需要将带有误差的位姿估计值送入后端进行非线性优化。VSLAM的采集设备可分为单个(单目)相机、双目相机和深度相机。

目前，在静止的小规模场景下，一些以ORB_SLAM2为代表的单目SLAM能够实现快速稳定准确的跟踪，但在AR应用场景中需要继续改进，主要有两个方面的改进需求。一是AR系统的虚拟场景刷新频率应不低于10帧每秒，这样才不会让用户在观察增强场景的过程中有跳动感，而以ORB_SLAM2为代表的单目SLAM的跟踪注册速度难以满足这个要求。二是实际的AR场景并不能保持静止，会存在人、车辆这些运动物体。由于运动物体与AR相机的运动不具备一致性，因此用不同时刻的运动物体上的特征点的匹配关系会估计出错误的相机位姿，导致相机定位不准，用户会观察到虚拟物体的抖动或漂移现象。

综上所述，对于AR设备在含有运动物体场景中的定位问题，传统的单目SLAM很难实时修正运动物体干扰，难以保持稳定准确的定位。因此需要一种能够有效去除运动干扰，同时保持实时运行的跟踪注册方法，以实现在用户佩戴AR设备运动的过程中，虚拟物体能保持与真实场景的正确融合。

发明内容

为了解决上述单目SLAM技术在AR跟踪注册中存在的不足，本发明结合SLAM与深度学习技术，提出通过卷积神经网络(Convolutional Neural Network,CNN)构建一个VO系统，记为DCVO，以实现短时间内的实时准确稳定的跟踪。

该跟踪注册方法描述的DCVO系统由两个串联的CNN构成，首先第一个CNN是一个多任务网络，记为Multitask-Net，用来同时检测图像特征点并进行像素级语义分割。该方法将语义分割的类别归类为静态与动态两类，根据特征点所属的动静类别，仅保留静态类的特征点。第二个网络是一个轻量型的CNN，记为Pose-Net，以相邻两幅图像经Multitask-Net提取的静态特征点为输入，输出为这两幅图像之间的相机相对位姿。最后，将相对位姿转换为世界坐标系下的绝对位姿，实现时间上连续的相机定位。

本发明提供一种动态环境下基于卷积神经网络架构的视觉里程计方法，具体包括以下步骤：