[发明专利]用于在真实世界3D环境中放置增强或混合现实应用的虚拟对象的方法和设备

说明书

一种用于在真实世界3D环境中放置增强或混合现实应用的虚拟对象的方法，在增强或混合现实应用的运行时间选择(14)在真实世界3D环境中预定的至少两个候选插入区域的有限集合中的一个候选插入区域来用于在真实世界3D环境中放置虚拟对象，所述选择基于针对候选插入区域中的每一个组合以下每一个之间的关系的标准：真实世界3D环境，针对虚拟对象在候选插入区域中的放置而考虑的所述虚拟对象，以及用户位置；并且将虚拟对象插入(14)所述选择的候选插入区域中。

技术领域

本发明的领域是增强现实(AR)和混合现实(MR)的领域。更具体地，本发明涉及用于在真实世界3D环境中放置增强或混合现实应用的虚拟对象的解决方案(方法和设备)。

背景技术

增强现实(AR)应用是指真实世界环境的实时视图，其元素通过计算机生成的(CG)内容(诸如视频或图形)来增强。在混合现实(MR)中，CG内容不仅覆盖在真实世界的俯视图上，而且它真实地与真实世界环境相互作用，并且数字和物理现实无缝地混合在一起。

在AR或MR应用中，视觉CG内容在给定位置被插入真实3D环境中。这个位置一般是：

·相对于预定义的视觉2D/3D图案(例如工业应用)定义，由空间坐标(例如，基于室外位置的应用)或屏幕坐标(例如Google Glass^TM应用)预定，

·或由用户手动选择(例如交互式应用)。

可以相对于视觉图案的大小预定或定义CG内容的比例。

然而，在不受控制的复杂真实世界3D环境中发生的AR或MR应用中，最佳位置和比例取决于真实世界环境，并且不能完全提前指定。例如，对于在用户的起居室中将虚拟对象插入混合现实中，有必要理解和分析真实场景的布局，还有它的辐射测量、虚拟对象的几何和外观、用户位置以及应用本身的目的。实际上，虚拟对象的最佳放置取决于引用CG内容(即虚拟对象)、真实世界环境和应用的补充规则和约束。

已知的解决方案是使用特征检测或对象识别技术来指定用于插入的相关位置。在替代已知的解决方案中，Microsoft Hololens^TM眼镜使用锚点的概念，其可以由用户选择或使用图像分析技术自动定位。在专利US 2014/0210784中描述的另一替代已知解决方案中，控制器调整虚拟对象的位置和比例以使其与用户的视野重叠。

然而，这些已知的解决方案没有将所有约束条件一起考虑，并且不能保证用于插入虚拟对象的位置对于用户来说是最佳的。

A.E.Breen等人在“用于增强现实的交互式遮挡和自动对象放置(InteractiveOcclusion and Automatic Object Placement for Augmented Reality)”，计算机图形论坛(Computer Graphics Forum)，Wiley-Rlackwell Publishing LTD，第15卷，n°3，1996年中描述了另一种解决方案。根据该方案，虚拟对象从初始位置自动移动，直到它们与AR中的静态真实对象接触，从正在使用的真实世界环境的图像和碰撞检测算法得出校准数据使得能够相对于静态真实对象执行虚拟对象的自动对象放置。在实现方式中，虚拟对象在由用户任意定义的“重力”矢量的方向上递增地移动(转动和旋转)，直到检测到例如与真实桌子、真实地板或真实墙壁的碰撞。

尽管对于实现真实的AR表示具有吸引力，但在许多情况下，该解决方案可能证明是不够的。由于它是增量方法，因此需要用户提供的初始位置。并没有自动查找有效初始位置因此可以自动化该过程的解决方案。即使它可以自动化，也不会考虑相邻对象或缩放参数，并且可能证明例如当虚拟对象对于桌子而言太大或者当附在墙上时相对于AR场景的其他部分看起来很不优美时，它是不合适的。否则，用户需要做出决定，特别是关于“重力”矢量的选择。而且，布置虚拟对象的位置可能不是最佳的并且仅对应于第一次发生的碰撞。另外，递增地确定虚拟对象的适当定位和取向有时可能需要显著且不可预测的计算成本，这对于实时应用是不利的。