[发明专利]一种测量立体视频时间帧偏移的系统和方法

说明书

技术领域

本发明涉及三维（3D）电视（TV）视频处理，并且更尤其是涉及立体视频时间帧偏移的测量。

背景技术

立体三维电视（3DTV）视频是立体帧对的序列。每个帧对中的帧中的一帧意图仅由左眼观看，而另一帧意图仅由右眼观看。通过这种方式，帧对的双目视觉连同传统的图像高度和宽度一起创建了深度的立体错觉。这些帧对可以是左眼（L）图像帧和右眼（R）图像帧的单独的视频流。通常从3D摄像机系统取得每个流，该3D摄像机系统是具有单独的视频输出的真实的两个摄像机，从而产生串行数字双链路。期望的是，两个摄像机被同步，以便同时捕获L和R帧对。

这些双链路输出可作为单独的压缩视频流被发送到一个位置，在该位置，利用若干方法之一来组合这些图像对，以产生用于分发的单个流。可利用单独的编码器/解码器（CODEC）来对每个流进行压缩，一个用于L图像序列，以及一个用于R图像序列。然而每个CODEC通常都具有不确定的帧延迟或者处理等待时间。结果，解压缩的L和R帧的输出序列可能不再是成对的、帧同步的，即存在时间错对准（miss-alignment）或时间帧偏移的一个或多个帧。

2004年7月15日对于Jiuhuai Lu所发布的，并转让给俄勒冈州（Oregon）Beaverton的Tektronix公司，并通过引用结合于此的美国专利No.6751360，描述了一种用于将失真的视频信号与对应的源视频信号在时间上进行对准的快速时间对准估计方法。为每个视频信号创建时间信号曲线（SC），并且使得到的SC与彼此互相关，从而确定两个视频信号的对应帧之间的匹配。最大的互相关结果是对两个视频信号的对应帧之间的时间位移量的指示。然而，如由图1a的SC图表所示的，得到的SC具有较大的偏移。较大的偏移不允许根据SC对帧偏移进行鲁棒的（robust）确定，并且对于在硬件（HW）中的数字整体实现要求较大的比特大小。

所期望的是一种方法，其在不具有视频内容的任何先验知识的情况下，测量帧偏移或者L到R的时间错对准，该测量提供了对L和R图像序列之间的任何不准确的时间帧偏移的鲁棒提示。

发明内容

由此，本发明提供了一种立体视频时间帧偏移测量技术，该技术是鲁棒的，并且不需要视频内容的任何先验知识。该立体视频时间帧偏移测量系统使用改进的特征曲线生成器来为立体视频信号的左和右图像序列中的每个生成鲁棒的特征曲线。得到的特征曲线在指定的相关范围上被互相关，以生成互相关系数。将互相关系数与高阈值进行比较，并且为超过该高阈值的每个互相关系数生成并显示时间帧偏移。每个新的、可靠的时间帧偏移结果在被显示时被加亮，否则以背景方式显示最后的结果。

当结合所附权利要求和所附的附图进行阅读时，本发明的目的、优点和其他新颖的特征根据以下的详细描述而是显而易见的。

附图说明

图1提供了根据本发明的用于测量立体视频时间帧偏移的改进的特征曲线生成器的框图视图。

图2提供了根据本发明的用于立体视图时间帧偏移测量的系统的框图视图。

图3提供了根据本发明的具有降低的硬件要求的特征曲线生成器的框图视图。

图4提供了根据本发明的用于进一步降低硬件要求的输入滤波器的框图视图。

具体实施方式

现在参考图1，亮度图像序列被输入到时间特征曲线（）生成器10，以产生如上面提到的美国专利No. 6752360中描述的帧到帧互协方差输出。该亮度序列被输入到高通滤波器（HPF）12，以产生高通滤波后的亮度图像序列，其转而被输入到帧/场延迟电路14，该帧/场延迟电路14提供被延迟一个帧/场的亮度图像的输出序列。两个得到的亮度图像序列被输入到乘法累加电路16，其实现未归一化的互相关，也称为协方差测量，以根据现有技术产生SC、 ，并且其用图表表示为图1a。如先前所述的，在这一点上，SC具有大的偏移使得变化不是容易地可辨别的。因此，SC进一步由差分器18所处理，该差分器18提供帧到帧互相关的归一化的先过差(first-past difference)，在图1b中示出了其图表。出于比较的目的，如图1b中所示的，由帧的数目N来对进行归一化。通过比较图1a和1b的两个图表，显然的是，现在的变化是容易显而易见的，即，SC的动态范围被显著减小，并且AC内容被增加。