[发明专利]基于视频帧运动的自动关注区检测

说明书

本申请案主张基于2005年10月5日申请的第60/724,130号美国临时申请案的权益。

技术领域

本发明涉及视频帧内的关注区(ROI)检测，且更明确地说，涉及用于自动检测多媒 体应用的视频帧内的ROI的技术。

背景技术

视频序列的视频帧内的自动关注区(ROI)检测可在各种各样的多媒体应用(例如， 视频监视、视频广播和视频电话(VT)应用)的ROI视频处理系统中使用。在一些情况 下，ROI视频处理系统可以是ROI视频编码系统。在其它情况下，ROI视频处理系统可 包括ROI视频增强系统或另一类型的视频处理系统。ROI可被称为视频帧内的“前景” 区，且非ROI区可被称为视频帧内的“背景”区。ROI的典型实例是人脸。ROI视频处 理系统可相对于视频序列的视频帧内的非ROI区而择优利用从所述视频帧检测到的 ROI。

在ROI视频编码系统的情况下，已经提出了视频序列的视频帧内的选定部分的择优 编码。举例来说，可用较高质量对视频帧内的自动检测到的ROI进行编码，以传输到视 频电话(VT)应用中的接收者。在非常低位速率应用(例如移动VT)中，ROI择优编 码可改进经编码的视频序列的主观质量。利用ROI的择优编码，与非ROI区域相比，接 受者能够更清楚地观看ROI。可通过与视频帧的非ROI(或背景)区域相比，将更大比 例的编码位分配给ROI，来对视频帧的ROI进行择优编码。跳过视频帧的非ROI区允许 保存编码位以分配给ROI。前一帧的经编码的非ROI区可代替当前帧中跳过的非ROI区。

从视频俘获装置接收到的视频帧通常在被应用到启用ROI的视频编码器、启用ROI 的视频增强器或类似的多媒体装置之前被处理。举例来说，视频处理方案可自动检测视 频帧内的ROI。按照惯例，阻止启用ROI的视频通信系统的快速进步和广泛部署的主要 障碍是自动ROI检测的稳健性。一些自动ROI检测方案提出一种简单的基于肤色的面部 检测方法，其基于从输入视频图像的色度分量导出的肤色图(skin-tone map)而检测具有 肤色外观的像素。其它方案提出一种照明补偿模型来校正面部检测的色彩偏差。另外， 自动ROI检测方案可构造眼睛、嘴和边界图来检验面部候选物，或在人脸的重要面部特 征处使用具有较大量值的特征掩模(eigenmask)来改进ROI检测准确性。

发明内容

一般来说，本发明针对基于视频序列的视频帧内的低复杂性自动关注区(ROI)检测 而进行ROI视频处理的技术。所述低复杂性自动ROI检测可基于视频通信装置内的视频 传感器的特性。举例来说，视频传感器可驻留在所谓的相机电话或视频电话内。在其它 情况下，所述低复杂性自动ROI检测可基于视频序列的一视频帧和所述视频序列的一不 同视频帧的运动信息。所述技术可能在视频电话(VT)应用(例如视频串流和视频会议) 中有用，且尤其在低位速率无线通信应用(例如移动VT)中有用。

ROI视频处理涉及ROI的择优处理。举例来说，ROI视频编码算法可将额外的编码 位分配给视频帧内的ROI，且将减小数目的编码位分配给视频帧内的非ROI区。ROI的 典型实例是人脸。非ROI区可被称为“背景”区，但非ROI区更一般地包含视频帧的不 形成ROI的一部分的任何区。因此，在整个本发明中，术语“非ROI”和“背景”可以 互换使用，来指代不在ROI内的区。

所揭示的技术包含视频处理技术，其能够基于特定视频传感器的特性来调谐并增强 视频通信装置内的视频传感器校准、相机处理、ROI检测和ROI视频处理。视频处理技 术可普遍地应用于不同类型的视频传感器。另外，所述技术允许视频通信装置内的组件 之间的灵活通信和协作。以此方式，所揭示的技术可基于与视频传感器相关联的物理特 性和统计资料而增强ROI视频处理性能。