[发明专利]基于混合现实的室内关键物体识别定位方法、装置及设备

说明书

本发明公开了一种基于混合现实的室内关键物体识别定位方法、装置及设备，包括获取针对目标室内区域的图像视频流，并识别获其中包括的室内物体集以及各室内物体的二维图像信息；将各室内物体的二维图像反投影映射至三维真实空间；获取各室内物体在三维真实空间中的分布空间位置，并确定与各室内物体对应的虚拟现实模型锚点信息以构建对应的虚拟现实模型；若检测到当前拍摄对准室内区域中存在当前室内物体，获取对应的目标虚拟现实模型并与当前室内物体融合显示。本发明实施例实现了在数字化量房过程中将室内各物体基于视频数据对应转换为虚拟现实模型，使得设计师还原客户住房的户型模型的准确度提高，降低了还原难度，而且还提升了还原的效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于混合现实的室内关键物体识别定位方法、装置及设备。

背景技术

随着人工智能技术的发展和应用，为当今各行各业提供了降本增效的可能性。在日新月异的信息化开放时代，家装领域数字化转型势在必行。

家装设计过程中，设计师需要先进行量房得到客户家比较精准的户型真实尺寸，现有智能量房软件能够大体测量出户型墙体数据，但户型测量后很多辅助测量元素也需要被记录，设计师往往采用拍照来估计其大体位置。例如，强弱电点位，包含开关、中央空调控制面板，插座，网络接口等；强弱电箱，包含强弱电电箱等；卫浴部件，包含马桶，花洒，下水，水表等；主要家居，包含床，沙发等大件物体；厨房部件，包含燃气表，水管阀门等；室内开孔位置，包含空调预留口烟道等。通过这些传统手段，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率。

发明内容

本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法、装置及设备，旨在解决现有技术中家装设计师在基于智能量房软件量房时仅能测量出户型墙体数据，量房过程中辅助测量元素最后不能有效地绑定在客户住房户型数据当中，这会让设计师还原客户住房的户型模型的准确度降低，难度增大，而且还降低了还原的效率的问题。

第一方面，本发明实施例提供了一种基于混合现实的室内关键物体识别定位方法，其包括：

获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；

基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；

将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；

获取各室内物体在三维真实空间中的分布空间位置；

根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；

基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；

若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。

第二方面，本发明实施例还提供了一种基于混合现实的室内关键物体识别定位装置，其包括：

视频采集单元，用于获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；

物体二维信息获取单元，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；

反投影映射单元，用于将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；