[发明专利]多视图三维重建方法及装置

权利要求书

1.一种多视图三维重建方法，其特征在于，包括：

使用多层普通卷积处理多张输入图像，获得每张所述输入图像的多张不同尺度的第一特征图；多张所述输入图像中包括一张参考图像，其余为源图像；

使用多个不共享参数的可变形卷积处理多张不同尺度的所述第一特征图，并双线性插值后获得每张所述输入图像的多张不同尺度的第二特征图；其中，所述可变形卷积定义如下：

f(p)表示像素p的特征值，w_k和p_k分别表示在所述普通卷积中定义的卷积核参数和固定偏移量，Δp_k和Δm_k分别表示所述可变形卷积经过学习产生的偏移量和权重；

对每张所述输入图像的多张所述第二特征图进行拼接，获得每张所述输入图像的输出特征图；

根据每张所述输入图像的所述输出特征图和相机参数构建代价体；

正则化所述代价体获得概率体；

根据所述概率体确定所述参考图像的初始深度图；

优化所述初始深度图，获得深度优化图；

融合多张所述深度优化图生成稠密点云。

2.根据权利要求1所述的多视图三维重建方法，其特征在于，所述正则化所述代价体得到概率体包括：

使用分层式递归卷积网络模块对所述代价体正则化，获得正则化后的多张代价图；所述分层式递归卷积网络模块包括多个依次排列的LSTMConvcell，以及设置于两个所述LSTMConvcell之间的池化层和反卷积层；

根据多张所述代价图生成相应的所述概率体。

3.根据权利要求1所述的多视图三维重建方法，其特征在于，所述根据所述概率体确定参考图像的初始深度图包括：

沿所述概率体的深度方向，以深度期望值作为每个像素的深度估计值来确定所述参考图像的初始深度图。

4.根据权利要求1所述的多视图三维重建方法，其特征在于，所述优化所述初始深度图包括：

通过所述初始深度图，将所述参考图像上的像素点投影到每张所述源图像的对应位置，计算所述参考图像的所述输出特征图的取值和所述源图像的所述输出特征图的取值的差异值；

使用高斯牛顿法最小化所述差异值；

计算残差，所述残差的计算公式如下：

ri(p)＝F_i(p′_i)-F₀(p)；

其中，F_i(p′_i)为所述源图像的所述输出特征图的取值，F₀(p)为所述参考图像的所述输出特征图的取值；

计算每个所述残差对所述初始深度图的一阶导数J_i(p)，并根据以下公式确定当前深度的增量δ：

δ＝-(J^TJ)^-1J^Tr；

其中，J是矩阵{J_i(p)}的叠加，r是残差向量{ri(p)}的叠加；

将所述当前深度的增量与所述初始深度图的取值相加得到所述优化深度图。

5.根据权利要求1所述的多视图三维重建方法，其特征在于，所述融合多张所述深度优化图生成稠密点云包括：

将全部所述深度优化图的动态匹配一致性进行融合，获得全局动态多视图几何一致性；所述动态匹配一致性定义如下：

所述全局动态多视图几何一致性定义如下：

其中，ε_p和ε_d分别表示像素重投影误差和深度重投影误差，λ表示影响两个不同的重投影误差的系数；

使用预设过滤系数过滤异常值。