[发明专利]提供虚拟会议中的发送参与者的3D表示

说明书

提供了一种用于提供虚拟会议中的发送参与者的三维(3D)表示的方法。该方法在表示提供器(1)中执行，并且包括：获得人的至少一部分的非实时3D模型；获得虚拟会议的发送参与者的部分实时3D数据；以及将非实时3D模型与部分实时3D数据进行组合，从而产生发送参与者的组合3D表示。

技术领域

本公开涉及用于提供虚拟会议中的发送参与者的三维(3D)表示的方法、用于提供虚拟会议中的发送参与者的3D表示的表示提供器、以及用于提供虚拟会议中的发送参与者的3D表示的计算机程序。

背景技术

对远程虚拟会议的需求不断增加。尽管二维(2D)视频(例如经由MicrosoftTeams)在当今很常见，但由更强大的扩展现实(XR)设备驱动的三维(3D)沉浸式通信很快会将虚拟会议的用户体验提升到新的水平。XR是增强现实(AR)、虚拟现实(VR)等的总称。

为了使3D虚拟会议工作，应当例如基于诸如激光雷达、雷达或立体成像之类的技术，使用3D成像设备来捕获每个参与者。但是，3D成像导致在参与者的用户设备之间传输大量数据。

对于虚拟会议来说，实时从3D成像设备、3D流(例如点云)捕获数据并且对数据进行编码仍然是一个挑战。对于带宽变化很大的网络(临时尖峰/中断)，并且考虑到3D捕获流的带宽需求，这也是一个问题。另一个问题是网络延迟抖动，其对会议体验产生显著的负面影响。

发明内容

一个目的是减少3D虚拟会议的资源使用，特别是诸如带宽之类的网络资源使用。

根据第一方面，提供了一种用于提供虚拟会议中的发送参与者的三维3D表示的方法。所述方法在表示提供器中执行。所述方法包括：获得人的至少一部分的非实时3D模型；获得所述虚拟会议的所述发送参与者的部分实时3D数据；以及将所述非实时3D模型与所述部分实时3D数据进行组合，从而产生所述发送参与者的组合3D表示。

根据第二方面，提供了一种用于提供虚拟会议中的发送参与者的三维3D表示的表示提供器。所述表示提供器包括处理器和存储指令的存储器，所述指令在由所述处理器执行时使得所述表示提供器：获得人的至少一部分的非实时3D模型；获得所述虚拟会议的所述发送参与者的部分实时3D数据；以及将所述非实时3D模型与所述部分实时3D数据进行组合，从而产生所述发送参与者的组合3D表示。

根据第三方面，提供了一种用于提供虚拟会议中的发送参与者的3D表示的计算机程序。所述计算机程序包括计算机程序代码，所述计算机程序代码当在表示提供器上被执行时使得所述表示提供器：获得人的至少一部分的非实时3D模型；获得所述虚拟会议的所述发送参与者的部分实时3D数据；以及将所述非实时3D模型与所述部分实时3D数据进行组合，从而产生所述发送参与者的组合3D表示。

根据第四方面，提供了一种计算机程序产品，其包括根据第三方面的计算机程序和所述计算机程序被存储在其上的计算机可读装置。

在本上下文中，部分实时3D数据被理解为是表示发送参与者的部分(例如特定身体部分，如参与者的头部)的实时摄像机流。在虚拟会议期间实时捕获实时摄像机流。人的至少一部分的非实时3D模型被理解为是表示发送参与者的3D模型，基于非实时3D模型，可以通过将部分实时3D数据与非实时3D模型进行组合来导出发送参与者的完整表示。非实时3D模型是预先生成的(非实时)，并且可以是例如用于与发送参与者具有相同性别和体型的人的通用模型，或者是特定于发送参与者的模型。通过在虚拟会议期间仅发送部分实时3D数据而不是参与者的完整表示，并且将部分实时3D数据与非实时3D模型进行组合，降低了会议期间对网络带宽的要求。

通常，除非本文另外明确定义，否则权利要求中使用的所有术语将根据其在技术领域中的普通含义来解释。除非另外明确说明，否则对一/一个/该元件、装置、组件、部件、步骤等的所有引用应公开地解释为是指该元件、装置、组件、部件、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以所公开的确切顺序执行。

附图说明