[发明专利]一种基于深度学习的多视图三维重建方法、系统及设备

权利要求书

1.一种基于深度学习的多视图三维重建方法，其特征在于，所述基于深度学习的多视图三维重建方法包括：

获取多张多视角图像，对多张所述多视角图像进行多尺度语义特征提取，获得多种尺度的特征图；

对所述多种尺度的特征图进行多尺度语义分割，获得多种尺度的语义分割集；

通过有监督的三维重建方法对多张所述多视角图像进行重建，获得初始深度图；

基于所述多种尺度的语义分割集和所述初始深度图，获得多种尺度的深度图，具体为：

选取多张所述多视角图像中的任一张作为参考图，其他作为待匹配图；

从所述参考图中选取参考点，并获取所述参考点在所述语义分割集中对应的语义类别，以及获取所述参考点在所述初始深度图上对应的深度值；

通过如下公式选取所述参考点的数目：

其中，表示第j个分割集选取的参考点数目，H表示所述多视角图像的高度，W表示所述多视角图像的宽度，HW表示所述多视角图像的像素点数量，t表示一个常量参数，表示第j个所述语义分割集所含的语义类别数，表示第i个所述语义分割集所含的语义类别数，n表示所述语义分割集的总数量；

基于每个所述参考点，通过如下公式获取每个所述参考点在所述待匹配图上的匹配点：

其中，表示第i个参考点在所述待匹配图上的匹配点，K表示相机的内参，T表示所述相机的外参，表示所述参考图中的参考点P_i在所述初始深度图上对应的深度值；

获取每个所述匹配点对应的语义类别，通过最小化语义损失函数对每种尺度的所述多视角图像进行修正，获得所述多种尺度的深度图，所述语义损失函数的计算公式如下：

其中，表示第i个所述参考点的语义信息和第i个所述匹配点的语义信息的差别，M_i表示掩膜，N表示所述参考点的数目；

基于所述多种尺度的深度图，构建多种尺度的点云集；

根据所述点云集的尺度，对所述多种尺度的点云集采用不同的半径滤波进行优化，获得优化后的点云集；

基于所述优化后的点云集进行不同尺度的重建，获得不同尺度的三维重建结果；

将每种尺度的三维重建结果进行拼接融合，获得最终的三维重建结果。

2.根据权利要求1所述的基于深度学习的多视图三维重建方法，其特征在于，所述对多张所述多视角图像进行多尺度语义特征提取，获得多种尺度的特征图，包括：

通过ResNet网络对多张所述多视角图像进行多层特征提取，获得多种尺度的原始特征图；

将每种尺度的所述原始特征图分别与通道注意力连接，以通过通道注意力机制对每种尺度的所述原始特征图进行重要性加权，获得多种尺度的特征图。

3.根据权利要求2所述的基于深度学习的多视图三维重建方法，其特征在于，所述通过通道注意力机制对每种尺度的所述原始特征图进行重要性加权，获得多种尺度的特征图，包括：

将每种尺度的所述原始特征图通过压缩网络进行压缩，获得每种尺度的所述原始特征图对应的一维特征图；

将所述一维特征图通过激励网络输入全连接层进行重要性预测，获得每个通道的重要性大小；

将所述每个通道的重要性大小通过激励函数激励到每种尺度的所述原始特征图的一维特征图上，获得多种尺度的特征图。

4.根据权利要求1所述的基于深度学习的多视图三维重建方法，其特征在于，所述对所述多种尺度的特征图进行多尺度语义分割，获得多种尺度的语义分割集，包括：

将所述多种尺度的特征图通过非负矩阵分解进行聚类，获得多种尺度的语义分割集；其中，所述非负矩阵分解的表达式为：

其中，V表示将多种尺度的特征图映射串联并重塑为HW行C列的矩阵V，P表示HW行K列的矩阵，Q表示K行C列的矩阵，H表示系数矩阵，W表示基矩阵，K表示语义簇数的非负矩阵分解因子，C表示每个像素的维度，F表示采用非诱导范数。