[发明专利]提供虚拟环境的方法与系统及非暂态电脑可读取储存介质

说明书

一种于移动中提供虚拟环境的方法，其包含以下流程：撷取第一影像，第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分；将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态；以及依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。无论穿戴行动装置的使用者的视野为何，此方法可以将虚拟物件维持于真实世界环境中的正确位置。

技术领域

本公开文件有关一种提供虚拟环境的方法与系统以及非暂态电脑可读取储存介质，尤指一种移动中提供虚拟环境的方法与系统以及非暂态电脑可读取储存介质。

背景技术

在汽车业界，增强现实(AR)技术原本被设计为显示关于车辆本身的资讯，例如速度和方向。经过汽车业界积极研发后，增强现实技术已能够实现辅助驾驶功能，例如导航和道路偏移警示。为了让虚拟物件在无论使用者何时观看的情况下都维持于现实世界环境中的正确位置，头戴式装置(HMD)或其他能够提供虚拟物件的装置需要实时定位使用者的位置和视野。实时定位技术例如包含内向外(inside out)追踪技术和外向内(outside in)追踪技术。外向内追踪技术需要多个固定位置的灯塔，且利用光学追踪技术以定位使用者的位置。高准确度与适用简单的演算法是外向内追踪技术的优点。不过，固定位置的灯塔不适用于经常处于移动状态的车辆。内向外追踪技术需要复杂的影像处理演算法，但内向外追踪技术允许头戴式装置透过撷取周遭环境的影像来进行自我定位。然而，当内向外追踪技术被实作于车用应用中时，车辆内部和外部以不同速度移动的现实世界物件会干扰内向外追踪技术的定位过程，导致头戴式装置难以同时在车内外的正确位置显示虚拟物件。

发明内容

本公开文件提供一种于移动中提供虚拟环境的方法，其包含以下流程：撷取第一影像，第一影像关联于至少部分封闭的壳体的内部空间，且关联于由内部空间向外撷取到的壳体的外部环境的一部分；将第一影像分类为第一部分和第二部分，第一部分关联于内部空间，第二部分关联于由内部空间向外撷取到的外部环境的部分；估测行动装置分别关联于壳体与外部环境的第一姿态与第二姿态，第一定位模型基于第一部分估测第一姿态，第二定位模型基于关联于外部环境的第二影像估测第二姿态；以及依据第一姿态与第二姿态，在行动装置的视野中显示多个虚拟物件。

在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：选择深度阈值子集，其中深度阈值子集中的多个深度阈值分别对应于内部空间的地图的多个不同部分。在第一影像对应于地图的每个部分的多个像素中，对应于小于或等于深度阈值子集中的对应深度阈值的深度值的像素被分类至第一部分，对应于大于对应深度阈值的深度值的像素被分类至第二部分，且第二影像包含第二部分。

在上述方法的一些实施例中，第一影像由行动装置的相机系统所撷取，且关联于第一影像的多个深度值由行动装置的深度计所撷取。

在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：将第一影像中对应于小于或等于深度阈值的深度值的像素分类至第一部分；以及将第一影像中对应于大于深度阈值的深度值的像素分类至第二部分，且第二影像包含第二部分。

在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含：将第一影像中对应于小于或等于速度阈值且由光流演算法计算出的速度大小的像素分类至第一部分；以及将第一影像中对应于大于速度阈值且由光流演算法计算出的速度大小的像素分类至第二部分。

在上述方法的一些实施例中，将第一影像分类为第一部分与第二部分包含辨识第一影像中的多个地标。多个地标用于指示对应于内部空间的像素与对应于由内部空间向外撷取到的外部环境的部分的像素之间的边界，且第二影像包含第二部分。