[发明专利]用于多媒体捕获中的质量提升的方法和装置

说明书

背景技术

多媒体捕获能力已经成为便携式设备中的常见特征。两个或多个值机员之间的多媒体呼叫可以包括音频和视频信号两者的同时传输。在另一方面，许多人倾向于在他们正在参加的事件，诸如音乐会或体育赛事，中记录或捕获音频和视频内容。

背景噪声使得移动多媒体通信中的音频编码和整体的体验质量遭受了挑战。多媒体终端常常在具有高的背景噪声水平的环境中使用，使得多媒体捕获易于遭受背景噪声的侵害。为了改进音频质量，多媒体终端通常在语音信号经历音频编码之前应用噪声抑制(又称噪声消除)作为预处理步骤。噪声抑制从来不能完全地在语音和背景噪声之间进行区分，并且因此通常将噪声抑制设计成在尽可能多地衰减背景噪声和使得尽可能少地使语音信号本身降级之间提供固定取舍。

然而，在上述两个方面之间直接应用此类固定取舍不是最优的。例如，在一些多媒体捕获中，希望的是：也尽可能好地传递周围气氛(例如，当正在现场音乐会中时)，而在其它情况中(例如，当试图在高噪声环境中解释重要问题时)所有的背景噪声将降低语音的清晰度和可懂度，从而是不需要的。也就是说，什么应当被认为是不需要的背景噪声取决于多媒体捕获会话的上下文。此外，对特定多媒体捕获会话来说，多媒体终端的用户没有办法将噪声抑制或任何其它的预处理调节成更优的。

发明内容

现在，已经发明了一种用于缓解上述问题的改进方法和实现该方法的技术设备。本发明的各个方面包含：方法、装置和计算机程序产品，其由独立权利要求中所述的内容进行表征。在独立权利要求中公开了本发明的各种实施例。

根据第一方面，提供了一种方法，所述方法包括：由装置捕获多媒体内容，所述多媒体内容包括至少音频信号和视频信号；基于所述音频信号或视频信号中的至少一者来获得控制信息；基于从所述视频信号获得的所述控制信息来控制所述音频信号的预处理；和/或基于从所述音频信号获得所述控制信息来控制所述视频信号的预处理。

根据实施例，所述方法还包括：在对所述音频信号或视频信号进行编码前应用所述预处理。

根据实施例，所述音频信号的所述预处理是下列中的一个：噪声抑制，语音水平调节、调节语音的动态范围、向音频源引导多个麦克风布置的麦克风波束成型。

根据实施例，所述方法还包括：确定针对出现在由所述视频信号所表示的视频场景上的至少一个音频源的优先级值，所述优先级值与由所述视频场景中的所述音频源所覆盖的图像面积成比例；以及根据所述优先级值来调节所述音频信号的所述预处理，使得在所述预处理中着重于来源于覆盖所述视频场景的最大图像面积的音频源的音频成分。

根据实施例，所述方法还包括：确定针对出现在由所述视频信号所表示的视频场景上的至少一个音频源的优先级值，所述优先级值与由所述视频场景中的所述音频源所覆盖的图像面积成比例；以及根据所述优先级值来调节所述音频信号的所述预处理，使得在预处理中不着重于对整体视频场景贡献较少的音频成分。

根据实施例，所述方法还包括：检测由所述视频信号所表示的视频场景中的人的面部的至少一部分；以及以与由在所述视频场景中的所述人的面部所覆盖的图像面积成比例来对所述音频信号的所述预处理进行调节。

根据实施例，所述音频信号的所述预处理是噪声抑制，以及所述方法还包括：以与由在所述视频场景中的所述人的面部所覆盖的图像面积成比例来对背景噪声的衰减进行调节。

根据实施例，所述方法还包括：从所述视频信号的处理链的多个点来获得用于所述音频预处理器控制信号的控制信息，所述多个点位于以下点中的至少一个点：在视频信号预处理之前，在视频信号编码之前，在视频编码和所述视频信号的编码的参数值期间。

根据实施例，所述视频信号的所述预处理是以下中的一个：对图像帧的细节进行平滑，对颜色的动态范围进行调节，降低所述视频信号的色域或移除所述视频信号的不那么必要的部分。

根据实施例，所述方法还包括确定针对出现在由所述视频信号所表示的视频场景上的至少一个对象的优先级值，所述优先级值与由所述对象贡献于整体音频场景的音频成分成比例；以及根据所述优先级值来调节所述视频信号的所述预处理，使得在所述预处理中不重视较少贡献于整体音频场景的对象。

根据实施例，所述方法还包括：从所述音频信号的处理链的多个点获得用于所述视频预处理器控制信号的控制信息，所述多个点位于以下点中的至少一个点：在音频信号预处理之前、在音频信号编码之前、在音频编码和所述音频信号的编码的参数值期间。