[发明专利]基于混合现实的室内关键物体识别定位方法、装置及设备

权利要求书

1.一种基于混合现实的室内关键物体识别定位方法，其特征在于，包括：

获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；

基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；

将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；

获取各室内物体在三维真实空间中的分布空间位置；

根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；

基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；

若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。

2.根据权利要求1所述的方法，其特征在于，所述基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型，包括：

将各室内物体对应的虚拟现实模型锚点信息基于Mesh功能组件的Mesh网格模型构建与各室内物体对应的虚拟现实模型。

3.根据权利要求1所述的方法，其特征在于，所述基于图像识别获取所述图像视频流中包括的室内物体集，包括：

将所述图像视频流按帧拆分，得到多帧视频图片以组成视频图片集；

根据预设的图片筛选策略从所述视频图片集中筛选视频图片，组成目标视频图片集；

将所述目标视频图片集中各目标视频图片基于目标检测模型进行图像识别，得到各目标视频图片对应的识别结果以组成室内物体集。

4.根据权利要求1所述的方法，其特征在于，所述将各室内物体的二维图像基于反投影映射至三维真实空间，包括：

获取反投影对应的转换矩阵；

将各室内物体的二维图像对应的二维坐标与所述转换矩阵相乘，得到各室内物体在三维真实空间的三维坐标以映射至三维真实空间。

5.根据权利要求1所述的方法，其特征在于，所述获取各室内物体在三维真实空间中的分布空间位置，包括：

获取各室内物体在三维真实空间中的顶点坐标，以确定各室内物体在三维真实空间中的分布空间位置。

6.根据权利要求1所述的方法，其特征在于，所述根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息之后，所述方法还包括：

将各室内物体对应的虚拟现实模型锚点信息基于卡尔曼滤波进行矫正，以更新各室内物体对应的虚拟现实模型锚点信息。

7.一种基于混合现实的室内关键物体识别定位装置，其特征在于，包括：

视频采集单元，用于获取针对目标室内区域的图像视频流；其中，所述图像视频流为具有景象深度信息的视频流；

物体二维信息获取单元，用于基于图像识别获取所述图像视频流中包括的室内物体集，以及所述室内物体集中各室内物体的二维图像信息；其中，室内物体的二维图像信息至少包括室内物体的目标检测框区域及景象深度信息；

反投影映射单元，用于将各室内物体的二维图像基于反投影映射至三维真实空间；其中，各室内物体的二维图像包括二维图像信息；

分布位置确定单元，用于获取各室内物体在三维真实空间中的分布空间位置；

锚点信息获取单元，用于根据各室内物体的分布空间位置确定与各室内物体对应的虚拟现实模型锚点信息；

AR模型构建单元，用于基于各室内物体对应的虚拟现实模型锚点信息构建与各室内物体对应的虚拟现实模型；

混合现实融合单元，用于若检测到在目标室内区域内的当前拍摄对准室内区域中存在当前室内物体，获取与所述当前室内物体对应的目标虚拟现实模型，并与所述当前室内物体融合显示。