[发明专利]一种基于单目相机进行稠密建图的方法

说明书

本发明公开了一种基于单目相机进行稠密建图的方法，包括：将单目相机拍摄下的一段视频，以灰度图的形式读取每一帧图像，对参考帧进行梯度和深度剔除；用极线搜索方法查找当前帧上每个像素块与参考帧上余下像素块对应的位置，本发明用单目相机拍摄的视频，先以第一帧为参考帧，每次通过传感器读取当前相机的位姿，求出参考帧每个像素在当前帧对应的位置，通过三角化求出当前帧像素块与参考帧对应像素块所指向的空间点的深度，再以第二帧为参考帧，重复操作，直到得到单目相机拍摄视频中每一帧上用于稠密建图的像素块的空间位置，从而实现稠密建图，具有成本低、效率高、准确度高等优点。

技术领域

本发明涉及计算机图像信息技术领域，具体涉及一种基于单目相机进行稠密建图的方法。

背景技术

当一个设备在空间要求具有导航和避障等功能时，它就需要用相机建立起稠密或半稠密地图，即获得视频中每个像素对应的空间点坐标。这其中最重要的就是获得点的深度（空间点到相机光心的距离）。目前主流的建图方法采用RGBD相机和双目相机。

采用双目相机进行稠密建图之前，需要对双目相机进行标定和配置，较为复杂。测量范围受基线长度影响。深度计算复杂，在特殊情况下视差图并不会生成。

采用RGBD相机进行稠密建图的原理是通过“结构光”或“飞行时间”来测量深度。RGBD相机发射红外光到物体上，红外光再被物体反射回来。“结构光”原理通过检测反射的红外光结构发生的变化来确定深度，“飞行时间”则是通过检测发送到接收的时间来计算深度，红外光会受到日光的干扰，在户外使用时，稠密地图十分粗糙以致于不能使用，另外，由于RGBD利用时间的特性和红外光穿透能力强的特性，所以不适用于对运动物体和透射材质的测量。

发明内容

本发明的目的是针对现有稠密建图中，RGBD相机易受日光干扰、视场小，双目相机标定复杂、算力消耗大、成本高的缺点，而提供一种基于单目相机进行稠密建图的方法。

为实现上述目的，本发明采用如下技术方案：

一种基于单目相机进行稠密建图的方法，包括：

第一步，将单目相机拍摄下的一段视频，以灰度图的形式读取第一帧图像，先以第一帧为参考帧，初始化深度滤波器的深度均值和深度方差；

第二步，梯度剔除；以灰度图的形式读取第二帧图像，遍历参考帧上的每个像素块，计算每个像素块的灰度梯度，如果某个像素块的梯度的2范数小于设定的阈值，则剔除该像素块；

第三步，深度剔除；遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；

第四步，遍历第二帧图像上的像素块，用极线搜索方法查找每个像素块与所述参考帧上经第二、第三步剔除后余下像素块对应的位置；如果查找到参考帧上某个像素块在当前第二帧对应的位置，则通过三角化方法求出参考帧上该像素块的深度均值和深度方差，并将该深度均值和深度方差存入深度滤波器中，用于更新深度滤波器，对查找到的参考帧与当前第二帧有对应位置的所有像素块重复该步骤，直到每个像素块的深度都收敛；通过传感器得到当前相机在世界坐标系的位姿TWC，通过该位姿TWC的逆乘上参考帧在世界坐标系的位姿TWR，得到参考帧到当前第二帧的位姿TCR；

第五步，以灰度图的形式读取第三帧图像，遍历参考帧上经梯度剔除余下的其他像素块，读取深度滤波器存储的每个像素块的深度方差值，如果某个像素块的深度方差小于设定的最小方差或大于设定的最大方差，说明该像素块的深度已收敛或发散，则剔除该像素块；

第六步，遍历第三帧图像上的像素块，以第四步所述方法得到第三帧与参考帧对应的所有像素块，得到参考帧到当前第三帧的位姿TCR；

重复第五和第六步，遍历第四帧及之后的每一帧，直到查找得到单目相机拍摄视频中每一帧与该参考帧对应的所有像素块，通过三角化方法求出该参考帧上这些像素块的深度；