[发明专利]电子设备定向音频视频采集

说明书

本文公开了一种装置。该装置包括壳体、电子电路以及音频‑视觉源跟踪系统。电子电路位于壳体中。音频‑视觉源跟踪系统包括第一视频相机和麦克风阵列。第一视频相机和麦克风阵列附接至壳体。音频‑视觉源跟踪系统被配置成从第一视频相机接收视频信息。音频‑视觉源跟踪系统被配置成至少部分地响应于所述视频信息而从麦克风阵列采集音频信息。音频‑视觉源跟踪系统可以包括附接至壳体的第二视频相机，其中第一视频相机和第二视频相机一起估计麦克风阵列的声束定向。

本申请为2011年3月15日进入中国国家阶段的、申请日为2008年11月26日的、发明名称为“电子设备定向音频视频采集”的第200880131153.2号中国专利申请的分案申请。

技术领域

本发明涉及一种电子设备，并且更具体地涉及用于电子设备的定向音频视频采集。

背景技术

具有免提电话或者免提应用的电子设备在本领域中是已知的。在免提语音通话期间，可将除用户的语音之外的任何声音视为背景噪声，这些背景噪声应当被衰减(或者消除)以提高电话交谈的质量。噪声可能涉及与发送和接收信号相对应的环境、网络和音频链。环境噪声(或者干扰的声音/背景噪声)在免提语音通话期间可能很容易造成干扰，并且有时可能会超过用户的语音(信号)水平，使得分离二者变得非常困难。这可能导致较差的信噪比(SNR)。

在本领域中存在若干种用于语音通信的仅针对音频源的跟踪技术。通过使用能够对源(用户)方向之外的灵敏度进行衰减的定向性图案而提供音频发送的常规配置，可以改善SNR并在传输源信号之前从该信号中消除不需要的信号。然而，这假设了已经知晓或者可以估计信号的到达方向(DOA)。此外，使用常规技术的基于音频的跟踪一般不适合于静默的移动源。

在手持移动通信设备的情况中，声源的相对位置由于设备的移动可能也会发生移动。相比于在其中可以假设设备相比于声源的移动是处于相对静止中的传统会议室设置而言，设备的连续把持(例如，由于自然的手势和手部动作)使得源跟踪任务的挑战性大为增加。设备移动可以引起DOA中非常快的改变，而声源的移动则不大可能造成这种情况。

在典型的移动通信语音通话中，用户与设备的相对位置可以改变。由于仅针对音频的跟踪系统为了计算一个或多个DOA角而需要音频数据，因此这对跟踪信息造成处理延迟(从而妨碍了实时源位置信息更新)。遗憾的是，在实时语音通信中为了流畅运行而需要最小化端对端延迟。这可能引起若干问题。例如，当用户在讲话停顿期间移动时，源跟踪器在该静默期中可能失去正确的源位置。当通话者开始讲话时，语句的开头可能因错误的位置信息而失真。从多麦克风降噪的角度来看，这意味着用户的语音被作为背景噪声源处理，直至考虑到正确的位置信息。

另一类定向音频采集算法通过利用信号的统计属性来形成麦克风阵列的定向性图案。这些算法并不利用专用的声源位置信息，而是试图自适应于所需的源。通常这些算法不仅需要适应于源位置中的变化，而且还需要适应于室内冲击响应中的变化。这使得这些算法对环境中瞬时变化的反应相对较慢。在没有外部控制的可能性的情况下，对关于源方向做出自主判断的算法进行控制也是有意义的。例如，在大声的干扰源(又称为干扰机)的情况中，控制麦克风阵列以将源归类为噪声源变得更加困难，特别是当干扰源的信号统计与所需源相似时，例如在通话者争相发言的情况下尤为如此。

此外，人脸检测和人脸的视频跟踪在本领域中是已知的。脸部检测对输入图像中的一张脸(或者多张脸)的定位进行处理。该过程包括在没有关于脸部位置的先前知识可用时对整个图像进行扫描。脸部跟踪还可以扩展至通过使用时间相关性在视频序列中定位人脸而进行的脸部检测。使用关于上一帧中的脸部位置的知识来缩小当前帧中的搜索范围，而不是单独地在每个帧中对脸部进行检测。