[发明专利]用于降减光晕的使用混合双向运动向量的帧率转换

说明书

【技术领域】

本发明涉及视频处理，特别涉及一种用于解决遮挡问题的运动补偿帧率转换方法。

【背景技术】

平板电视和其他显示屏的图像质量已经有很大的提高，部分是因为较高的刷新率和帧率。虽然视频标准如NTSC和PAL有固定的帧率，但是新式电视和显示屏中的上变频器允许更高的帧率，显示给观看者。更高的帧率意味着在相邻帧之间有更少的时间，显示物体在帧之间可以有更小的运动。而且，每一帧在LCD显示器上显示的时间减少了，因为更高的帧率。结果，后影像和感觉到的运动模糊也减少了。因为更高的帧率，运动看上去更平滑自然，更少跳跃感。最新技术3D电视需要更高的帧率，以致通过使用主动式快门眼镜，稍微不同的图像可以显示给每个眼睛。在具有主动式快门眼镜的3D电视里，左眼视图和右眼视图轮流交替显示。因此观看者接收到的实际帧率是减半的。帧率提升是用于为每个眼睛保持帧率，以便使运动和2D视频一样平滑自然。

虽然通过简单地复制帧可以增加帧率，但是现代图形处理器可以在现有的帧之间产生新帧。新帧可以插入在两个周围的原始帧之中。每个帧可以分成宏块(MB)，然后为每个MB产生运动向量(MV)。每个MB沿着MV平移，就形成在两个原始帧之间的内插帧。

图1显示帧率转换(FRC)的帧内插。帧1、2、3是一原始视频序列中的原始帧，该原始视频具有较低的帧频率。内插帧1.5是从帧1和帧2而产生的，通过从帧1或帧2沿着MV平移MB而产生。类似地，内插帧2.5是从原始的帧2和帧3通过沿着运动向量平移宏块而产生的。帧2.5的平移距离可以是每个运动向量的帧2和帧3之间平移距离的一半。

内插后的帧的最终序列有着双倍数量的帧，每个原始帧后面都插入一个内插帧。

一些前景物体可能比背景移动得更快，如图1显示的序列中蜜蜂朝向花朵移动。相比较背景物体(背景)的运动向量，前景物体(物体)有较大的运动向量。

图2突出显示一个物体相对于背景而移动，遮挡住覆盖的区域。在帧N-1中的物体10相对于格子背景而运动。物体10从帧N-1移动到帧N中物体10’的位置处。物体10是沿着它的运动向量平移，而找到内插帧N-0.5中物体10的位置。

当帧N-1和帧N相互叠在一起，如图2底部显示的，会看到物体10的位置向右下移动，到物体10’处。物体10的视运动(apparent motion)产生一个未覆盖区域U和一覆盖区域C。未覆盖区域U是背景图像的一部分，其被帧N-1中的物体10遮住，但是在帧N中是可见的。类似地，覆盖区域C也是背景图像的一部分，其在帧N-1中是可见的，但在帧N中被物体10’遮住。

这些由物体10产生的覆盖和未覆盖，或遮挡和未遮挡，使得帧内插变得复杂。

图3突出显示覆盖区域和未覆盖区域无法正确估计的运动向量。在图3A-B中帧显示为侧视图。在图3A中，前向运动向量14指向帧FN-1中宏块出现在下一原始帧FN中的位置。物体10的物体运动向量12指向帧FN中物体10’的新位置。物体10在内插帧FN-0.5中的位置可以通过物体10的宏块沿着物体运动向量12平移一半距离而确定，正如背景图像的宏块可以在运动向量14的一半距离处找到位置一样。

但是，物体10是相对于背景而移动的。物体10的视运动使得帧FN中的一些宏块没有有效的运动向量14。例如，帧FN-1中物体10上方的宏块被帧FN中物体10’遮住，因此这些宏块在帧FN中就没有匹配的宏块。

在图3B中，后向运动向量14指向帧FN中宏块出现在前一原始帧FN-1中的位置。物体10’的物体运动向量12指向帧FN-1中物体10的位置。物体10在内插帧FN-0.5中的位置可以通过物体10’的宏块沿着物体运动向量12平移一半距离而确定，正如背景图像的宏块可以在运动向量14的一半距离处找到位置一样。

使用后向运动向量也会使得帧FN中的一些宏块没有有效的运动向量14。例如，帧FN中物体10’下方的宏块被帧FN-1中物体10的视运动而未遮住，因此这些宏块在帧FN-1中就没有匹配的宏块。

遮挡和未遮挡会为帧率转换而带来问题。因为覆盖或未覆盖区域没有有效的运动向量，简单的运动估计和宏块平移会损坏运动物体的边缘区域。物体边缘则会出现跳跃而不是平滑运动。当遮挡处理失败时，帧率转换就可能会产生可见的瑕疵。例如，这种瑕疵可以表现为在一个运动的人头边缘周围的光晕。因此这类可见瑕疵有时称为光晕效应(haloeffect)，尽管它们出现在运动物体边缘处。