[发明专利]混合现实虚拟呈现方法及装置

说明书

技术领域

本发明实施例涉及混合现实技术领域，尤其涉及一种混合现实虚拟呈现方法及装置。

背景技术

MR(Mixed Reality，混合现实技术)，是一种将真实世界信息和虚拟世界信息混合叠加呈现的技术，涉及多媒体处理、三维建模、实时视频显示及控制、实时跟踪以及场景融合等新技术与新手段。MR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。MR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。

为了实现混合现实效果，目前通常的呈现方式，比如谷歌眼镜、微软hololens等都是将虚拟构建的显示图像直接叠加到现实图像中进行混合显示，但是，显示图像中往往内容复杂，需要复杂的算法计算虚拟图像与现实图像的叠加位置以及虚拟图像需要进行的缩放、旋转等处理，才能最大程度的使得叠加后的混合图像真实感强。因此，现有技术的缺陷在于MR系统实现技术复杂，成本高，真实感不佳。

发明内容

本发明实施例提供一种混合现实虚拟呈现方法及装置，能够在降低实现成本的基础上，高真实度的实现混合现实的虚拟呈现。

第一方面，本发明实施例提供了一种混合现实虚拟呈现方法，包括：

通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

根据所述至少两张平面确定图像，绘制所述用户视野中包括的空间网格平面；

根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

第二方面，本发明实施例还提供了一种混合现实虚拟呈现装置，包括：

平面确定图像获取模块，用于通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像，其中，所述摄像头配置于所述用户佩戴的混合现实眼镜之上；

空间网格平面绘制模块，用于根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；

虚拟场景确定模块，用于根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；

虚拟场景输出模块，用于将所述虚拟场景输出至所述混合现实眼镜，以使所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景。

本发明实施例通过摄像头进行移动拍摄，获取至少两张与用户视野相匹配的平面确定图像；根据所述至少两张平面确定图像，绘制用户视野中包括的空间网格平面；根据所述空间网格平面，确定与待显示3D物体对应的虚拟场景；将所述虚拟场景输出至所述混合现实眼镜，以实现所述用户观测到由所述虚拟场景以及所述混合现实眼镜获取的真实场景融合后的混合现实场景的效果，这样形成的虚拟影像真实感强，一定程度上达到了欺骗人大脑的目的，让人不易分辨真实场景和虚拟场景，与现有的谷歌眼镜、微软hololens相比，实现成本低。

附图说明

图1是本发明实施例一提供的一种混合现实虚拟呈现方法的流程图；

图2a是本发明实施例二提供的一种混合现实虚拟呈现方法的流程图；

图2b是本发明实施例二提供的混合现实虚拟呈现方法中t-1时刻的特征点位置分布示意图；

图2c是本发明实施例二提供的一种混合现实虚拟呈现方法中的t时刻的特征点位置分布示意图；

图2d是本发明实施例二提供的一种混合现实虚拟呈现方法中提取的图像特征点分布示意图；

图2e是本发明实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；

图2f是本发明实施例二提供的一种混合现实虚拟呈现方法中确定的空间网格平面示意图；

图3a是本发明实施例三提供的一种混合现实虚拟呈现方法的流程图；

图3b是本发明实施例三提供的一种待显示3D物体叠加于空间网格平面后的示意图；

图3c是本发明实施例三提供的一种混合现实虚拟呈现方法中的通过两个通道将虚拟场景输出至所述混合现实眼镜的不同镜片中的示意图；

图4是本发明实施例四提供的一种混合现实虚拟呈现装置的结构图。

具体实施方式