[发明专利]一种基于卷积神经网络的室内场景布局估计方法及系统

说明书

本发明提供了一种基于卷积神经网络的室内场景布局估计方法及系统，获取室内场景图像；利用经过训练的网络预测模型，预测边缘图和语义分割图；根据评价标准和预测的边缘图以及语义分割图，从候选布局池中筛选符合要求的候选布局；对候选布局逐一迭代，在关键点附近设置替换点以得到更优布局，最终选出最优室内布局。本发明能够较为准确的进行室内布局预测，并挑选出最优室内布局。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于卷积神经网络的室内场景布局估计方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

室内场景布局估计是指针对拍摄的室内场景图像，预测场景的空间结构信息。由于室内场景布局估计对于室内场景的三维重建、机器人室内导航等任务中都发挥着重要作用，近年来吸引了众多研究者对此进行研究。然而由于室内物体遮挡、语义信息不确定性等原因，室内场景布局估计仍面临较大挑战。

近年来的室内布局估计算法多采用卷积神经网络，此方法避免了传统机器学习算法中的手动特征提取这一复杂过程，且准确度有较明显提升。但在网络训练及特征自动提取过程中一方面往往缺乏语义信息，另一方面较少关注特征的有效性问题。

发明内容

本发明为了解决上述问题，提出了一种基于卷积神经网络的室内场景布局估计方法及系统，本发明能够较为准确的进行室内布局预测，并挑选出最优室内布局。

根据一些实施例，本发明采用如下技术方案：

一种基于卷积神经网络的室内场景布局估计方法，包括以下步骤：

获取室内场景图像；

利用经过训练的网络预测模型，预测边缘图和语义分割图；

根据评价标准和预测的边缘图以及语义分割图，从候选布局池中筛选符合要求的候选布局；

对候选布局逐一迭代，在关键点附近设置替换点以得到更优布局，最终选出最优室内布局。

作为可选择的实施方式，网络预测模型的训练过程包括：

获取训练用的室内场景图像；

生成室内布局训练集的边缘图标签和语义分割图标签；

利用训练数据及标签训练可表征室内布局的边缘图和语义分割图的网络预测模型；

将训练数据集所生成的边缘图标签和语义分割图标签作为布局池。

作为进一步限定的实施方式，在利用训练数据及标签训练过程中，包括基础特征提取，在边缘图生成过程中加入通道自适应强化，在语义分割图生成过程中加入空间特征强化。

作为进一步限定的实施方式，生成室内布局训练集的边缘图标签和语义分割图标签的具体过程包括：根据室内场景图像中的布局关键点，用多个像素宽的线条绘制出墙面的交界线，然后进行高斯模糊得到室内布局边缘图；最后将天花板、地面、中墙、左墙和右墙分别用1表示，其他区域用0表示，生成对应的语义分割图标签。

作为可选择的实施方式，从候选布局池中筛选符合要求的候选布局的具体过程包括：依据设定的评价标准在布局池中筛选出与网络预测的室内布局特征图最相似的结果，所述室内布局特征图包括室内布局边缘图和语义分割图。

作为可选择的实施方式，在关键点附近设置替换点以得到更优布局，最终选出最优室内布局的具体过程包括：对于每一个候选布局，在其每个关键点附近寻找邻近点像素代替，得到新的布局并计算评价分数，若评价分数增大，则用新布局代替原有布局，若评价分数不变或下降则保留原有布局，选择所有细化候选布局中评价分数最高的作为最终结果。

一种基于卷积神经网络的室内场景布局估计系统，包括：