[发明专利]房间布局估计方法和技术

说明书

公开了用于估计房间布局的系统和方法。房间布局可包括地板、一个或多个墙壁和天花板的位置。在一个方面，神经网络可以分析房间的一部分的图像以确定房间布局。神经网络可以包括具有编码器子网络、解码器子网络和侧子网络的卷积神经网络。神经网络可以使用与房间类型相关联的二维有序关键点来确定三维房间布局。房间布局可用于诸如增强或混合现实、机器人、自主室内导航等的应用。

相关申请的交叉引用

本申请要求2017年3月17日提交的题为“ROOM LAYOUT ESTIMATION METHODS ANDTECHNIQUES”的美国专利申请号62/473,257的优先权权益，该申请通过引用整体并入本文。

技术领域

本公开一般涉及用于使用自动图像分析来估计房间布局的系统和方法，并且更具体地涉及用于确定房间布局的深度机器学习系统(例如，卷积神经网络)。

背景技术

深度神经网络(DNN)是一种计算机器学习方法。DNN属于一类人工神经网络(NN)。利用NN，构建了模拟生物神经网络特征的计算图。生物神经网络包括突出用于计算并且负责生物系统的许多能力的特征，，否则这些特征可能难以通过其它方法捕获。在一些实现方式中，这种网络被布置成单向连接的顺序分层结构。例如，特定层的人工神经元的输出可以连接到后续层的人工神经元的输入。DNN可以是具有大量层(例如，10、100或更多层)的NN。

不同的NN在不同的视角中彼此不同。例如，不同NN的拓扑或架构(例如，层的数量和层如何互连)和权重可以是不同的。权重可以近似类似于生物系统中神经连接的突触强度。权重影响从一层传播到另一层的效果强度。人工神经元的输出可以是其输入的加权和的非线性函数。NN可以在训练数据上训练，并且然后用于从未训练数据确定输出。

发明内容

从图像构建世界的三维(3D)表示是计算机视觉中的重要挑战，并且具有对增强现实、机器人、自主导航等的重要应用。本公开提供了用于通过分析房间的一个或多个图像来估计房间的布局的系统和方法的示例。布局可以包括房间中的地板、一个或多个墙壁、天花板等的位置。

在一个方面，包括神经网络的机器学习系统用于房间布局估计。在各种实施例中，机器学习系统在此称为RoomNet，因为这些各种实施例使用神经网络确定房间布局。机器学习系统可以由包括非暂态存储的硬件计算机处理器执行，并且可以在本地或在分布式(例如，云)计算环境中执行。

在此描述的房间布局系统和方法适用于增强和混合现实。例如，增强现实(AR)设备可以包括面向外的成像系统，该面向外的成像系统被配置为捕获AR设备的环境的图像。AR设备可以执行图像的RoomNet分析以确定AR设备的佩戴者所在的房间的布局。AR设备可以使用房间布局来构建佩戴者的环境的3D表示(有时称为世界图)。

在一个方面，神经网络可以分析房间的一部分的图像以确定房间布局。神经网络可以包括具有编码器子网络、解码器子网络和侧子网络的卷积神经网络。神经网络可以使用与房间类型相关联的二维有序关键点来确定三维房间布局。房间布局可用于增强或混合现实、机器人、自主室内导航等应用。

在一个方面，RoomNet包括编码器子网络、连接到编码器网络的解码器子网络，以及连接到编码器网络的侧子网络。在接收到房间图像之后，可以使用RoomNet的编码器子网络和解码器子网络来确定与多个房间类型对应的多个预测热图。可以使用RoomNet的编码器子网络和侧子网络以及房间图像来确定多个房间类型的预测房间类型。可以使用与预测的房间类型对应的预测热图来确定多个预测关键点位置处的关键点。可以使用预测的房间类型、关键点和与预测的房间类型相关联的关键点顺序来确定房间图像中的房间的预测布局。