[发明专利]一种运动路径指引的老电影黑帧修复方法

说明书

本发明公开一种运动路径指引的老电影黑帧修复方法，包括：运动路径估计步骤，其中使用光流估计获得前后参考帧之间的运动路径约束；预插值步骤，其中使用自适应的双向帧插值插得预处理中间帧；黑洞填补步骤，其中对预处理中间帧中的黑洞进行邻域像素填补，从而提高终插值的准确性；以及终插值步骤，其中对包含运动路径约束的预处理中间帧进行基于块的帧重构，从而将老电影中的黑帧修复成过渡自然的中间帧。本发明方法不仅能较好的满足重建效果，而且也兼顾了计算复杂度，对于大部分的老电影镜头，甚至一些较为复杂的变形镜头也能较好的还原中间帧。

技术领域

本发明涉及计算机图像修复领域，具体涉及一种运动路径指引的老电影黑帧修复方法。

背景技术

老电影由于其反映了早年社会的面貌、表达了早期艺术的形态，成为现如今珍贵的历史影像资料，有着重大的研究和保存价值。然而，胶片电影由于受历史原因和技术的影响，再加上胶片本身物理上无法抵抗自然环境，长久下来在保存上出现了斑点、划痕、褪色、缺损等诸多问题。而这些问题在影片被胶转磁数字化后仍然存在。

当老电影部分胶片缺损时，黑帧常作为替补帧出现弥补空格，从而保持影片播放的帧率。然而，黑帧的插入在影片播放过程中会出现视觉上的闪跳，很影响观感。现在对视频插帧的研究主要依赖于前后帧的相关性，找到相应运动规律，从而推导出中间帧的画面状态。最为常见的解决方式是计算物体的光流估计，利用运动补偿进行帧插值。Mahajan等提出基于路径的插值方法，通过在源图中寻找到一条路径，该路径可供插值帧中的每个像素进行移动和拷贝。Meyer等提出基于相位的方法，这类方法假设轻微的移动可以用单个像素颜色的相位移动编码得到。Saito等提出基于块的快速帧插值，该方法利用匹配块得到两帧之间的位移矢量，再将块平移到合适的位置进行帧插值。然而，虽然现有的算法各有各的优势，但存在重建效果差或计算复杂的问题。

发明内容

针对现有技术存在的缺陷，本发明的目的是提供一种运动路径指引的老电影黑帧修复方法，从而将老电影中的黑帧修复成过渡自然的中间帧。

为达到上述目的，本发明采用如下技术方案：

一种运动路径指引的老电影黑帧修复方法，具体步骤如下：

步骤1)，运动路径估计：使用光流估计获得前后参考帧之间的运动路径约束；

步骤2)，预插值：使用自适应的双向帧插值插得预处理中间帧；

步骤3)，黑洞填补：对预处理中间帧中的黑洞进行领域像素填补，从而提高终插值的准确性；

步骤4)，终插值：对包含运动路径约束的预处理中间帧进行基于块的帧重构，从而将老电影中的黑帧修复成过渡自然的中间帧。

上述步骤1)中的运动路径估计，具体为：通过计算前向参考帧与后向参考帧对应像素点的位移矢量得到位移矢量集(u,v)，其中，假设前向参考帧中的像素点为(x,y,t)，后向参考帧中的对应像素点为(x',y',t')，则两像素差值如公式(1)

其中，s表示从t帧到t'帧的时间差，运动路径表示前后参考帧对应像素在时间维度的运动矢量，那么，从t帧到t'帧的运动路径表示为(u,v,s)。

上述帧间的对应像素位移矢量集，通过计算层标记光流估计来获得：首先，找到一个满足一定假设条件的能量函数，然后，将该能量函数最小化得到最优的位移矢量，再使用金字塔结构分层迭代位移矢量，从而得到最佳的位移矢量集(u,v)。

上述能量函数由三项目组成：数据项、平滑项和对称项，具体定义如公式(2)所示：