[发明专利]来自多个视听源的信息的合成

说明书

技术领域

本发明涉及信息合成系统，尤其涉及用于合成从聚焦于单个场景的多个音频和可视源接收到的信息的系统。

背景

在过去，诸如计算机游戏和多媒体应用等计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵游戏人物或应用的其他方面。近来，计算机游戏和多媒体应用已开始使用照相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。对于NUI，使用捕捉设备来检测用户移动、姿势和语音。相关联的视听数据被转发至处理器，该处理器解释该数据并使用该数据来控制游戏人物或者应用程序的其他方面。

当前NUI系统可以使用单个捕捉设备来记录来自玩游戏空间或场景的数据。然而，可能需要增大玩游戏空间或场景的大小。在此情况下，使用单个捕捉设备可能由于许多原因而不适合，诸如，例如，分辨率或场景的照明度不够，或对象在场景内被遮蔽。对于这样的情况，使用一个以上的捕捉设备将是有利的。需要一种系统来合成来自拍摄一个共同的场景的多个捕捉设备的数据，以协调来自多个源的数据。

发明内容

此处公开了用于合成从聚焦于单个场景的多个音频和可视源接收到的信息的系统。该系统可包括从两个或更多源接收数据的计算环境。源可以是用于从玩游戏空间或场景捕捉音频和/或可视数据的捕捉设备。本技术的各实施方式首先将捕捉设备彼此校准以及与场景校准。场景常常可以具有移进移出场景的用户和对象。如此，校准过程的第一阶段可包括时间同步来自多个捕捉设备的数据，以确保来自音频和可视源的数据在相同时间提供同一场景的数据。

此后，可以通过标识各种捕捉设备的图像数据内的关键点不连续性或线索来将捕捉设备彼此校准。然后，可以通过标识两个或更多捕捉设备的图像所共有的线索的数量，确定两个或更多捕捉设备相对于彼此的相对位置。重复此过程，直到所有捕捉设备的位置都已经相对于彼此被校准。

此后，可以将来自多个捕捉设备的可视数据协调并在缝合一起，以改进系统的感应和解释场景的可视方面的能力。类似地，一旦校准了不同的捕捉设备的位置，来自多个捕捉设备的音频数据可以提供改进的音频质量、噪声消减和声源定位。

本技术的一个实施方式可以涉及用于合成来自多个源的场景的信息的方法。该方法下列步骤：a)从第一源和第二源接收场景信息，第一和第二源在空间上彼此并与场景是分开的；b)根据场景信息以及由第一和第二源从场景共同检测到的一个或多个线索，确定第一和第二源中的每一个的位置；以及c)基于在所述步骤b)中确定的第一和第二源的位置，以及从第一和第二源接收到的信息，创建场景的表示。

本技术的再一个实施方式可以涉及用于合成来自多个源的场景的信息的方法，包括下列步骤：a)从第一源和第二源接收场景信息，第一源相对于第二源的初始位置是未知的，第一和第二源在空间上彼此并与场景是分开的，场景信息包括图像深度数据和RGB数据中的至少一种；b)根据图像数据和RGB数据中的至少一种，以及来自场景的由第一和第二源共享的场景信息，确定第一和第二源(20)中的每一个的位置；以及c)基于在所述步骤b)中确定的第一和第二源的位置，以及从第一和第二源接收到的信息，创建场景的表示。

本技术的再一个实施方式可以涉及用于合成来自多个捕捉设备的游戏应用程序中的玩游戏空间的信息的方法，多个捕捉设备中的捕捉设备包括深度照像机、RGB照像机和至少一个话筒。该方法可包括下列步骤：a)从第一捕捉设备和第二捕捉设备接收图像深度数据和RGB深度数据，来自第一和第二捕捉设备的图像深度数据和RGB深度数据被时间同步在一起，第一和第二捕捉设备在空间上彼此并与玩游戏空间是分开的；b)根据已同步的图像深度数据和RGB数据的组合，以及由第一和第二捕捉设备从玩游戏空间共同检测到的多个线索，确定第一和第二捕捉设备中的每一个的位置和方向；c)基于在所述步骤b)中确定的第一和第二捕捉设备的位置，以及从第一和第二捕捉设备接收到的图像深度数据和RGB深度数据，创建玩游戏空间的表示；d)将来自第一捕捉设备的玩游戏空间表示的第一部分与来自第二捕捉设备的玩游戏空间表示的第二部分缝合在一起；以及e)在与第一和第二捕捉设备相关联的显示器上呈现玩游戏空间的表示。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。

附图说明