[发明专利]图像序列中闪烁的检测和抑制

说明书

技术领域

在此公开的本发明一般涉及视频处理，更准确地，涉及视频帧序列中非期望的短暂变化的连续检测。具体地，本发明适合于检测通过通信网络进行流传输的视频帧序列中与混淆相关的假象(aliasing-related artefact)。有利地，本发明还提供了非期望的短暂变化的结合的检测和抑制的方法和设备。

技术背景

在运动图像的播放期间(也就是说，静止图像(帧)序列在适当时间点连续呈现)，观众有时会观察到非期望的亮度变化，即“闪烁”(flicker)，其不会出现在描绘的场景中。如此处所使用的，场景(scene)是在记录运动图像的成像设备的视野中可见或部分可见的一个空间区域。尽管整个场景在给定时刻可能不可见，但是其能够通过扫视(span)在一个镜头期间被成功覆盖。闪烁可能具有快到人眼感觉不到的剧烈振动的光源引起。然而，记录包括以成像设备的帧速率(frame rate)对这种振动频率进行采样，通过采样处理，该振动频率可能变为更低的、可见地感受到的频率。图1示出了高频信号的采样(如圆圈所示)如何被解释为来自低频信号，反之亦然；这种现象就是混淆(aliasing)。

人们可以区分不同种类的闪烁。在灰度级视频序列中，闪烁是图像信号的单信道的非故意的(并且通常是周期性的)变化。这种变化可能影响整个帧或者仅仅子区域，该子区域可能对应于具有特定亮度的空间区域。当运用彩色视频技术时，振动的白色光源可能以不同于振动的彩色光源的方式来影响记录的视频序列。正如在接下来的几个段落将会解释的，对图像分量的闪烁的精确解释取决于所使用的精确彩色视频格式。

首先，如果视频序列以线性原色分量编码，例如RGB，那么在白色光源的情况下，非期望的振动将存在于所有颜色中。如果振动光源是彩色的，则将会给每个彩色分量按照光源颜色组成的比例贡献振动条件(term)；例如，振动的红色光源会主要贡献RGB信号的R分量，而较少贡献G分量和B分量。

其次，若干普遍彩色视频格式基于三维YCbCr彩色空间。这种视频格式包括一个亮度信道Y(对像素的亮度分量，或者辉度(brightness)分量编码)和两个色度信道Cb、Cr(根据与白色的偏离，对像素的色度分量编码)。亮度分量对应于灰度级视频的单图像信道；因此如果YCbCr彩色视频信号将通过灰度级接收器重现，那么可以简单地忽略信道Cb、Cr。图像分量(如关于常量、缩放、偏移等)的准确定义可能在不同的具体视频格式之间变化，但是一般来说在原色格式和YCbCr格式之间存在明确的转换(有时是线性转换)。尤其是，所有三原色分量都为亮度做出积极(positive)贡献，例如经由线性关系Y＝ρR+γG+βB，其中根据标准白色确定系数的相对值ρ＞0，γ＞0，β＞0。因此，不管导致闪烁的光源是白色还是彩色的，闪烁将自身显现为亮度分量中的变化。另一方面，彩色光源也会导致Cb分量和/或Cr分量的振动。

再次，还存在基于色调、饱和度和辉度三者的彩色视频格式，特别是HSL、HSV、HLS、HIS和HSB格式。一般来说，转换到RGB格式或者自RGB格式的转换伴随着这一类的每种视频格式。闪烁，至少白色闪烁，在光度/数值/辉度/强度信道(L或者V)中是可检测的，这将不与本公开的其它地方的亮度相区分。

在前面段落的讨论故意没有将模拟格式与数字格式相区分，因为对于本公开的目的而言，数字格式可以看作模拟格式的量化版本。同样地，除了线性版本之外，一些视频格式可以存在于伽马(gamma)压缩或者部分伽马压缩版本中，例如R’G’B’和Y’CbCr格式。然而，视频格式是否包括这种压缩对于理解本发明是无关紧要的。

因为观众会觉得闪烁令人烦恼或不快，所以在视频处理领域已经关注对闪烁进行检测和校正。关于检测，许多目前先进的方法都是基于傅立叶转换的，其将信号分解为具有包括0在内的不同频率的分量的线性组合。基于不同频率的相关重要性(正如傅立叶系数所示)，不论闪烁是否出现都能够建立线性组合。根据这一原则的检测方法如EP1324598中所示；该方法包括图像信号的平均的离散傅立叶转换。正如信号处理领域的普通技术人员所认识到的，傅立叶转换涉及的算法有以下缺点：

●它们不能应用于非固定信号，例如由于非等距采样导致帧速率可能随时间变化的视频信号；

●它们不能解决在信号阱中的非正弦闪烁，因为基频的能量在较高谐波会部分丢失；以及

●它们可能推算起来很复杂。