[发明专利]基于单幅RGB图像的室内场景三维重建方法及系统

权利要求书

1.一种基于单幅RGB图像的室内场景三维重建方法，其特征在于，包括：

获取室内场景ScanNet数据集，并对所述ScanNet数据集进行划分，确定训练集以及测试集；所述ScanNet数据集包括多张单幅RGB图像；

利用随机样本一致性RANSAC算法，从所述训练集中重复提取平面，确定室内场景待重建平面；

构建局部特征提取分支：所述的局部特征提取模块的具体做法是：在局部特征提取网络中，将局部目标的灰度图像作为输入，首先用一个全卷积神经网络生成其多尺度特征图，然后研究一种不变特征的筛选法则获取尺度不变特征，再对特征结合局部图像进行描述，最后探求局部特征与全局特征的融合方法；

利用局部特征提取分支提取所述室内场景待重建平面的局部特征；所述局部特征提取分支用于提取局部特征；所述局部特征包括边缘轮廓、角点以及线；

根据所述局部特征以及扩张残差DRN网络确定全局特征；所述全局特征包括颜色特征、纹理特征以及形状特征；

根据局部特征与扩张残差网络对将训练集进行处理得到的全局特征，并将局部特征与全局特征进行融合，得到关于输入图像的更加丰富的信息；

融合公式为：

Xi、Yi分别表示全局特征和局部特征，*表示卷积，K_i、K_i+c表示卷积核，c表示特征通道数；

根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型；所述室内场景三维重建网络模型包括平面参数预测分支、边缘像素预测分支以及非平面深度图预测分支；所述平面参数预测分支用于确定所述室内场景待重建平面的平面参数，所述平面参数包括法线以及偏移量；所述边缘像素预测分支用于确定分割掩膜；所述非平面深度图预测分支用于确定深度图；

在得到较为准确的平面分割掩模的基础上，拟加入真实边缘像素进行训练，只对实例中固定大小区域加入边缘检测，利用边缘像素损失函数的约束，计算预测边缘像素值和真实像素值间的差值，并对边缘像素进行相关的平滑操作，得到更加精细的平面分割掩模；

在分割掩模分成过程中加入边缘像素预测损失函数；

具体的，所述边缘像素预测分支损失函数具体如下：

L^P(y，y^*)＝M_P(|y^*-y|)^p

其中，L^p表示损失函数集，y^*表示真实值的边缘，y表示预测的边缘，p表示广义幂的p次幂，M_p表示绝对差值；

根据所述室内场景三维重建网络模型重建所述单幅RGB图像的室内场景。

2.根据权利要求1所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型，具体包括：

在平面参数预测分支中，利用全局平均池化，将所述融合后的特征图变换成尺寸为1x1的特征图；

将所述尺寸为1x1的特征图通过所述DRN网络的全连接层，生成尺寸为Kx3的特征图的平面参数；K为预测的平面数量。

3.根据权利要求2所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型，具体包括：

在边缘像素预测分支中，通过金字塔池化模块对所述融合后的特征图进行下采样，确定低于尺寸阈值的融合特征图；

将所述低于尺寸阈值的融合特征图输入到所述DRN网络的卷积层中，利用所述DRN网络的卷积层生成表示平面和非平面的K+1通道的极大似然图；

利用条件随机场对所述极大似然图进行处理，生成分割掩模。

4.根据权利要求3所述的基于单幅RGB图像的室内场景三维重建方法，其特征在于，所述根据所述局部特征以及所述全局特征构建基于单幅RGB图像的室内场景三维重建网络模型，具体包括：

在非平面深度图预测分支中，所述非平面深度图预测分支和所述边缘像素预测分支共同使用同一个金字塔池化模块，并将所述低于尺寸阈值的融合特征图输入到所述DRN网络的卷积层生成1通道的深度图。