[发明专利]一种基于CNN和深度滤波器的图像深度估计方法及系统

说明书

本发明公开了一种基于CNN和深度滤波器的图像深度估计方法及系统，所述方法包含：基于CNN得到图像深度估计值，对图像提取局部特征点，对局部特征点建立最小光度误差方程求解相机相对位姿；基于极线搜索匹配的特征点优化相机位姿，以特征点为中心选取图像块，对图像块极线搜索得到最佳匹配，根据最佳匹配构建光束平差法方程优化相对位姿；基于相机位姿的深度值滤波，采用高斯融合对深度值滤波，直至深度值收敛；本发明克服了图像深度不精确的问题以及单目视觉的绝对尺度丢失问题，可用于三维场景重建、室内定位及增强现实等诸多领域。

技术领域

本发明属于三维视觉领域，尤其涉及一种基于CNN(卷积神经网络)和深度滤波器的图像深度估计方法及系统。

背景技术

现实中常见的图像大多是彩色图像，彩色图像是将三维场景压缩成二维平面得到的，在成像的过程中丢失了深度信息，而深度信息的丢失使得很多视觉任务都变得困难，例如，由于深度值的缺失，三维场景的重建将难以进行。因此，从彩色图像恢复图像深度值具有重要意义。目前主流的图像深度获取方法分为三类，一种通过专门的硬件设备获取深度值，主要是RGB-D相机，其原理一般为结构光或飞行时间法，目前已经能够小型化量产，广泛运用于机器人和智能手机。其优点是测量精度高，其缺点也很明显，由于其采用红外光，受环境光影响大，因此很难应用于室外环境。而且测量距离也有限，一般在5米以内。

另外两种分别是根据图像线索估计图像深度以及运动恢复结构方法。其中根据图像线索估计图像深度常用的图像线索包括运动信息、线性透视、聚焦、遮挡、纹理等，由于图像线索需要对图像作很强的假设，目前基本上被CNN取代。不同于图像线索，CNN不要求图像满足一定的特性，在图像上提取广义的特征，并将这些特征聚类，根据这些特征估计图像深度，适用性更广。基于CNN的图像深度估计的最大问题是精度不高，特征是在物体边缘区域，区域划分极其不明显。

运动恢复结构方法一直是研究的热点，其原理是根据图像间的联系估计相机的运动，进而根据相机运动建立几何关系计算图像深度，该方法只需要一个普通的单目相机就可以完成高精度的图像深度估计。其缺点在于，由于其计算复杂性，稠密深度重建一般都是线下完成的，耗时很长。而且，运动恢复结构方法有很强的缺陷——绝对尺度的丢失以及纯旋转无法计算的问题。

由此可见，现有图像深度估计技术由于各种各样的原因，仍然存在适用范围窄、精度不高、效率低下等问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于CNN和深度滤波器的图像深度估计方法及系统，所述方法主要包含以下步骤：

S1、获取相机对同一拍摄目标进行连续拍摄的多张彩色图像，任选其中一个彩色图像作为参考图像，其余彩色图像作为关联图像，通过CNN得到所述参考图像的每个像素点对应的深度估计值；

S2、根据参考图像的每一个局部特征点、每一个局部特征点对应的深度估计值及每一个局部特征点与关联图像的重投影像素点建立最小光度误差方程获得相机位姿估计；

S3、根据所述相机位姿估计分别确定参考图像的每一个局部特征点在关联图像中对应的极线，根据极线搜索确定最佳匹配，根据最佳匹配建立光束平差法方程获得优化的相机位姿；

S4、根据所述优化后的相机位姿，分别构建深度滤波器对步骤S1中所述的每一个深度估计值进行高斯融合，直至深度值收敛，得到参考图像的每个像素对应的深度值，从而获得参考图像的深度图像。

在本发明的一种基于CNN和深度滤波器的图像深度估计方法中，所述步骤S2包括以下子步骤：

(1)局部特征点以ORB特征点表示，对参考图像提取ORB特征点；

(2)将参考图像转化为灰度图，以提取的ORB特征点、ORB特征点对应的深度估计值及ORB特征点与关联图像的重投影像素点构建稀疏形式的最小光度误差方程；