[发明专利]一种基于dropblock的单张彩色图片平面三维重建方法

说明书

本发明公开了一种基于dropblock的单张彩色图片平面三维重建方法，包括以下步骤：步骤S1：使用ScanNet数据集和Dropblock正则化方法训练卷积神经网络模型；步骤S2：使用经过训练的卷积神经网络对单张彩色图片进行示例分割和深度估计；步骤S3根据步骤S2得到的平面实例分割和深度估计融合一个三维模型。与现有技术相比，将单张彩色图片进行尺度归一化后，通过经dropblock方法训练好的卷积神经网络进行平面实例分割和深度估计，然后投影到三维空间完场三维模型的构建，从而能够提高计算速度和精度。

技术领域

本发明属于计算机视觉、计算机图形学技术领域，特别地，本发明涉及一种基于dropblock的单张彩色图片平面三维重建方法。

背景技术

图像的三维重建技术是综合了计算机图形学、计算机视觉、图像处理、计算机深度学习等多学科知识的新兴技术。利用单目相机获取的单张彩色图片进行三维重建，由于丢失了场景的一个维度，需要利用图像的几何约束进行摄像设备的标定或平面标定,进而估算得到必需的深度信息,最后利用几何投影知识等对图像进行数字化的表述，构建数字化的三维模型。因为深度信息的估计难度大和准确性不高成为了单目三维重建技术不能广泛运用的关键因素。相比于传统的单张彩色图像三维重建技术，近来兴起的，利用卷积神经网络完成平面三维重建的方法具有较高的精度。但是所需的卷积神经网络由于复杂的结构，往往有大量的参数参与运算，导致计算量庞大，并不能高效实时得三维重建。

现有技术的单张彩色图片平面三维重建主要存在以下两个问题：

1、对于利用单目相机获取的单张彩色图片，平面实例的识别和深度信息的估计难度大和准确性不高；

2、通过卷积神经网络进行三维重建需要的计算量庞大，并不能高效实时的进行平面的三维重建。

故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。

发明内容

有鉴于此，确有必要提供一种基于dropblock的单张彩色图片平面三维重建方法，将单张彩色图片进行尺度归一化后，通过经dropblock方法训练好的卷积神经网络进行平面实例分割和深度估计，然后投影到三维空间完场三维模型的构建，从而能够提高计算速度和精度。

为了克服现有技术的缺陷，本发明的技术方案如下：

一种基于dropblock的单张彩色图片平面三维重建方法，包括以下步骤：

步骤S1：使用ScanNet数据集和Dropblock正则化方法训练卷积神经网络模型；

步骤S2：使用经过训练的卷积神经网络对经过预处理的单张彩色图片进行示例分割和深度估计；

步骤S3将预测得到的平面实例分割和深度估计融合一个三维模型；

其中，步骤S1进一步包括：

步骤S11：获取ScanNet数据集；

步骤S12：构建所需的卷积神经网络模型；

步骤S121：整个网络的输入是一张彩色图片，尺寸为256*192*3。后面紧跟的编码器是对ResNet-101-FPN的扩展，在其后加了两个横向连接和两个自顶向下的方式，其输出特征图的尺寸为256*192*64。网络中出现的三个解码器——平面分割解码器、平面编码解码器、平面深度解码器——都为一个1*1的卷积层，输出的特征图尺寸分别为256*192*1、256*192*2、256*192*3。

步骤S122：通过平面分割解码器将特征图中的平面/非平面区域提取出来，使用如下交叉熵损失函数L_s：