[发明专利]基于单幅RGB图像的室内场景三维重建方法及系统

说明书

本发明涉及一种基于单幅RGB图像的室内场景三维重建方法及系统。所述重建方法包括：获取室内场景ScanNet数据集，并对所述ScanNet数据集进行划分，确定训练集以及测试集；利用随机样本一致性RANSAC算法，从所述训练集中重复提取平面，确定室内场景待重建平面；利用局部特征提取分支提取所述室内场景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；根据所述局部特征以及扩张残差DRN网络确定全局特征；根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型；根据所述室内场景三维重建网络模型重建所述单幅RGB图像的室内场景。采用本发明的重建方法及系统能够提高深度图预测精度、图像边缘重建效果以及室内场景重建精度。

技术领域

本发明涉及室内场景重建领域，特别是涉及一种基于单幅RGB图像的室内场景三维重建方法及系统。

背景技术

深度学习在三维重建方面起步较晚，但也取得了不错的发展。早在2006年，Saxena等人就开创了一种基于学习的方法，可以从单幅图像中推断出深度图。随着深度神经网络的兴起，大量基于卷积神经网络(Convolutional neural network，CNN)的方法开始涌现了出来。然而，大部分的方法仅是生成一组简单的深度值(如深度图)，并没有进行平面的检测和分割，所以重建精度并不高；在2016年，wang等人通过推断平面上的像素来加强平面在深度值及表面法线上的预测，但是他们的方法仅生成了一个二进制的分割掩模(即一个像素是否在平面上)，并没有进行平面参数的估计及实例级的平面分割处理；在2018年，一些基于CNN的方法又被提出来，用于直接预测三维平面全局结构；Liu等人提出了一种深度神经网络进行平面参数的估计并对平面内的每一个像素进行掩模处理；Yang和Zhou将三维平面重建问题看成是一个深度预测问题，并提出了一种不需要三维平面真实值的训练方案。之前的方法都是通过训练CNN从单幅图像中直接推断出平面参数和平面实例分割图，并在室内和室外数据集上的测试中都达到了最好的水平；然而，这些方法在一些较为复杂的场景中，重建效果并不太好，因此，在2019年，Liu等人提出了一种使用基于候选区域的实例分割网络及Yu等人提出了一种基于关联嵌入的模型网络用于解决复杂场景下的三维重建问题。

综上所述，基于深度学习的三维重建引起了中外学者的广泛关注。尽管这些基于深度学习的方法取得了不错的研究成果，但自身却也存在着不足：因基于深度学习的方法在进行三维重建时缺少对边缘像素的监督，导致深度图预测精度不高，图像边缘重建效果不佳；另外，因基于深度学习的方法在进行三维重建时没有充分考虑平面内待重建物体的局部信息，使得三维重建表示易丢失平面内物体的细节或忽略小物体的信息。

发明内容

本发明的目的是提供一种基于单幅RGB图像的室内场景三维重建方法及系统，以解决现有的基于深度学习的三维重建方法在进行三维重建时深度图预测精度不高，图像边缘重建效果不佳的问题。

为实现上述目的，本发明提供了如下方案：

一种基于单幅RGB图像的室内场景三维重建方法，包括：

获取室内场景ScanNet数据集，并对所述ScanNet数据集进行划分，确定训练集以及测试集；所述ScanNet数据集包括多张单幅RGB图像；

利用随机样本一致性RANSAC算法，从所述训练集中重复提取平面，确定室内场景待重建平面；

利用局部特征提取分支提取所述室内场景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；所述局部特征包括边缘轮廓、角点以及线；

根据所述局部特征以及扩张残差DRN网络确定全局特征；所述全局特征包括颜色特征、纹理特征以及形状特征；