[发明专利]通过拼接不重叠图像构建用户面部图像

说明书

一种装置包括支撑件、第一摄像机和第二摄像机以及处理器。所述支撑件被配置为被安装到用户的头部。第一摄像机被安装到支撑件上并且被定位为捕获用户面部的第一图像。第二摄像机被安装到支撑件并且被定位为捕获用户面部的第二图像，该第二图像与第一图像不重叠。处理器被安装到支撑件，并且被编程以将第一图像和第二图像拼接在一起以构建用户面部的图像。

背景技术

头戴式显示器(HMD)是可以包括显示光学器件和/或摄像机的可穿戴设备。例如，HMD可以被用于虚拟现实应用中，在该虚拟现实应用中，安装在HMD上的摄像机被用于获取用户面部的图像。然后，获取的图像可以被用于构建用户的虚拟图像。

附图说明

图1示出本公开的示例装置的高级框图；

图2示出用于操作头戴式显示器的示例方法的流程图；

图3示出可以在执行图2的方法期间捕获的图像的示例；

图4示出用于操作头戴式显示器的示例方法的流程图；

图5示出用于头戴式显示器的摄像机的静态校准的示例方法的流程图；

图6示出可以在执行图5的方法期间使用的校准图案的示例；

图7示出用于头戴式显示器的摄像机的动态校准的示例方法的流程图；以及

图8示出装置的示例。

具体实施方式

本公开广义地描述用于通过使用不重叠图像构建用户面部图像的装置、方法和非暂态计算机可读介质。如上所述，头戴式显示器(HMD)是可以包括显示光学器件和/或摄像机的可穿戴设备。例如，HMD可以被用于虚拟现实应用中，在该虚拟现实应用中，安装在HMD上的摄像机被用于获取用户面部的图像。然后，获取的图像可以被用于构建用户的虚拟图像。例如，虚拟图像可以表现用于模拟捕获的图像中用户面部表情的面部表情。模拟的面部表情又可以被用于使内容或触觉(haptics)适于用户当前的情绪、判定用户对特定内容的反应、和/或为多玩家游戏制作用户化身动画等各种应用。

为了在虚拟图像中准确模拟用户面部表情，许多VR应用依赖于面部标志点的认知(knowledge)。面部标志点是用户面部的具有已知的、独特的位置和空间分隔的特征(例如，眼睛、鼻子、嘴等)。定位出(pinpoint)这些标志点的位置并不总是简单的任务。例如，当由多个不同的摄像机获取用户面部的图像时，由于深度差异、视场差异(可能不重叠)、遮挡、以及可能因摄像机而异的其它几何畸变，可能难以检测到标志点。

本公开的示例提供用于对准和拼接由HMD的多个摄像机捕获的多个不重叠图像以构建穿戴HMD的用户的单个面部图像的方法。在图像捕获时，一组基准(fiducial)(例如，参考标记)被投影到用户面部上，使得所述基准在多个图像中可见。然后，通过使用可以离线收集的摄像机参数，校正多个图像的静态畸变(由于例如镜头畸变、摄像机之间的相对旋转和平移差、和/或由于摄像机的视场变化而导致的相对尺度(scale)差)。还通过使用在图像捕获时或紧挨着图像捕获之前收集的摄像机参数，校正多个图像的动态畸变(由于例如用户关于摄像机的姿势的差异、用户面部轮廓的变化、以及从一个会话到另一会话用户在HMD穿戴方式上的变化)。静态畸变和动态畸变的校正还校正多个图像中的基准的空间取向，这允许一个图像中的基准与另一个图像中的对应基准匹配，由此使得图像能够彼此对准或拼接在一起。可以按该方式对准多个图像，直到构建用户的单个面部图像。随后，面部标志点可以位于该单个面部图像中，并且被用于确定用户面部表情。

在本发明的上下文中，术语“拼接”是指对准两个或更多个不重叠图像以形成复合图像的操作。由于两个或更多个不重叠图像不重叠，因此在复合图像中可能存在间隙(例如，代表成像景物的在不重叠图像中的任一个中不存在的部分)。因此，尽管拼接操作可以使不重叠图像对准使得它们彼此正确地取向和定位，拼接操作却不能去除不重叠图像之间自然存在的间隙。然而，可以在拼接之后，使用另外的操作来填充这些间隙。