[发明专利]一种基于CNN和深度滤波器的图像深度估计方法及系统

权利要求书

1.一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，包括如下步骤：

S1、获取相机对同一拍摄目标进行连续拍摄的多张彩色图像，任选其中一个彩色图像作为参考图像，其余彩色图像作为关联图像，通过CNN得到所述参考图像的每个像素点对应的深度估计值；

S2、根据参考图像的每一个局部特征点、每一个局部特征点对应的深度估计值及每一个局部特征点与关联图像的重投影像素点建立最小光度误差方程获得相机位姿估计；

S3、根据所述相机位姿估计分别确定参考图像的每一个局部特征点在关联图像中对应的极线，根据极线搜索确定最佳匹配，根据最佳匹配建立光束平差法方程获得优化的相机位姿；

S4、根据所述优化的相机位姿，分别构建深度滤波器对步骤S1中所述的每个像素点对应的深度估计值进行高斯融合，直至深度值收敛，得到参考图像的每个像素对应的深度值，从而获得参考图像的深度图像。

2.如权利要求1所述一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，所述步骤S2包括以下子步骤：

(1)局部特征点以ORB特征点表示，对参考图像提取ORB特征点；

(2)将参考图像转化为灰度图，以提取的ORB特征点、ORB特征点对应的深度估计值及ORB特征点与关联图像的重投影像素点构建稀疏形式的最小光度误差方程；

(3)采用高斯牛顿法迭代求解所述最小光度误差方程，当所有局部特征点灰度值误差之和最小时得到相机位姿估计。

3.如权利要求1所述的一种基于CNN和深度滤波器的图像深度估计方法，其特征在于，所述步骤S3包括以下子步骤：

(1)以参考图像的局部特征点为中心，选取大小为NxM的图像块，根据相机位姿估计确定局部特征点在关联图像上对应的极线，其中N和M均为大于1的常数；

(2)在所述极线上根据归一化互相关方法确定所述图像块的最佳匹配，根据最佳匹配建立光束平差法方程；

(3)采用高斯牛顿法迭代求解光束平差法方程获得优化的相机位姿。

4.一种基于CNN和深度滤波器的图像深度估计系统，其特征在于，包括以下子模块：

深度估计值获取模块，用于获取相机对同一拍摄目标进行连续拍摄的多张彩色图像，任选其中一个彩色图像作为参考图像，其余彩色图像作为关联图像，通过CNN得到所述参考图像的每个像素点对应的深度估计值；

位姿估计模块，用于根据参考图像的每一个局部特征点、每一个局部特征点对应的深度估计值及每一个局部特征点与关联图像的重投影像素点建立最小光度误差方程获得相机位姿估计；

位姿优化模块，用于根据所述相机位姿估计分别确定参考图像的每一个局部特征点在关联图像中对应的极线，根据极线搜索确定最佳匹配，根据最佳匹配建立光束平差法方程获得优化的相机位姿；

深度图像获取模块，用于根据所述优化的相机位姿，分别构建深度滤波器对深度估计值获取模块中所述的每个像素点对应的深度估计值进行高斯融合，直至深度值收敛，得到参考图像的每个像素对应的深度值，从而获得参考图像的深度图像。

5.如权利要求4所述一种基于CNN和深度滤波器的图像深度估计系统，其特征在于，所述位姿估计模块包括以下子模块：

特征点提取模块，将局部特征点以ORB特征点表示，对参考图像提取ORB特征点；

最小光度误差方程构建模块，用于将参考图像转化为灰度图，以提取的ORB特征点、ORB特征点对应的深度估计值及ORB特征点与关联图像的重投影像素点构建稀疏形式的最小光度误差方程；

位姿估计求解模块，用于采用高斯牛顿法迭代求解所述最小光度误差方程，当所有局部特征点灰度值误差之和最小时得到相机位姿估计。

6.如权利要求4所述的一种基于CNN和深度滤波器的图像深度估计系统，其特征在于，所述位姿优化模块包括以下子模块：

极线确定模块，用于以参考图像的局部特征点为中心，选取大小为NxM的图像块，根据相机位姿估计确定局部特征点在关联图像上对应的极线，其中N和M均为大于1的常数；

光束平差法方程建立模块，用于在所述极线上根据归一化互相关方法确定所述图像块的最佳匹配，根据最佳匹配建立光束平差法方程；

位姿优化求解模块，用于采用高斯牛顿法迭代求解光束平差法方程获得优化的相机位姿。