[发明专利]调节视频会议系统中的空间一致性

说明书

技术领域

本发明的实施例一般涉及音频内容处理，更特别地，涉及用于调 节特别是在视频会议系统中的空间一致性的方法和系统。

背景技术

当实施视频会议时，视觉信号与听觉信号一起被生成且从一方传 输至另一方，使得当一个或多个与会者正在发言时，在另一方产生的 声音应当被同步化且同时播放。主要存在音频和视频之间的两种类型 的差异：时间上的差异和空间一致性上的差异。音频和视频流之间的 时间上的差异导致同步问题，诸如从发言的与会者传出的语音不与其 嘴型同步。空间一致性是用于描述正在被播放的声场如何与正在显示 的视觉场景相匹配的术语，或者，其可以被定义为听觉场景和视觉场 景之间校准的程度。本发明的目的在于调节视频会议系统中的空间一 致性，使得听觉场景与视觉场景彼此匹配，从而为多方的与会者提供 身临其境的视频会议体验。

如果音频信号是在大多数现存的视频会议系统中广泛采用的单 声道格式，则用户不需要关注空间一致性问题。空间一致性仅当音频 信号以至少两个声道(及立体声)存在时才会发生。现今，声音可以 被多于两个麦克风所采集，这将以诸如5.1或7.1环绕格式之类的多 声道格式进行传输，并被终端用户的多个换能器表现及播放。在通常 的会议环境中，多个与会者围绕用于采集其语音的设备，并且每个与 会者可以被视为单个音频对象，其在发言时产生一系列音频信号。

如在本文中使用的，术语“音频对象”指的是在声场中存在限定 时间期间的个体音频元素。音频对象可以是动态或静态的。例如，与 会者可以围绕音频采集设备行走，且相应的音频对象的位置也相应地 改变。

对于视频会议和各种其它涉及空间一致性问题的应用而言，不一 致的听觉-视觉表现导致不自然的感受，这可能导致会议体验降低。 一般而言，小于5°的差异可以被视为可接受的，因为这样的角度差 异对于大多数人而言并不明显。如果角度差异多于20°，大多数人都 会显著地觉得不舒服。

有鉴于此，本领域有需要引入调节听觉场景以与视觉场景校准的 方案，或者是调节视觉场景以与听觉场景校准的方案。

发明内容

为了解决前述和其它潜在的问题，本发明提出了用于调节视频会 议系统中的空间一致性的方法和系统。

在一个方面，本发明的实施例提供了用于调节视频会议中的空间 一致性的方法。该方法包括：将由视频端点设备采集的视觉场景展开 为至少一个直线场景，该视频端点设备被配置成以全向方式采集视觉 场景；检测至少一个直线场景与听觉场景之间的空间一致性，该听觉 场景由相对于视频端点设备定位的音频端点设备所采集，该空间一致 性为听觉场景与至少一个直线场景之间校准的程度；并且响应于所检 测的空间一致性低于预定的阈值而调节空间一致性。关于该方面的实 施例进一步包括相应的计算机程序产品。

在另一个方面，本发明的实施例提供了用于调节视频会议中的空 间一致性的系统。该系统包括：被配置成以全向方式采集视觉场景的 视频端点设备；被配置成采集听觉场景的音频端点设备，该音频端点 设备相对于视频端点设备被定位；被配置成将所采集的视觉场景展开 为至少一个直线场景的展开单元；被配置成检测至少一个直线场景与 所采集的听觉场景之间的空间一致性的空间一致性检测单元，空间一 致性为听觉场景与视觉场景之间校准的程度；以及被配置成响应于所 检测的空间一致性低于该阈值而调节空间一致性的空间一致性调节 单元。

通过以下的描述，将要理解的是，根据本发明的各个实施例，空 间一致性可以响应于听觉场景与从全向视觉场景获得的直线场景之 间的任何差异而被调节。相对于视觉场景所调节的听觉场景或者相对 于听觉场景所调节的视觉场景被多个换能器(包括扬声器、耳机等) 以及至少一个显示器自然地呈现。本发明实现了以三维音频呈现的视 频会议。本发明的各个实施例所实现的其它优点将通过以下描述而变 得显而易见。

附图说明

通过参照附图的以下详细描述，本发明的上述和其它目的、特征 和优点将变得更容易理解。在附图中，本发明的数个实施例讲义示例 以及非限制性的方式进行说明，其中：

图1图示了根据本发明的示例实施例的音频端点设备的示意图；

图2图示了用于图1中所示的音频端点设备的示例坐标系；

图3图示了根据本发明的示例实施例的由视频端点设备所采集的 全向视觉场景；