[发明专利]一种自然背景视频抠图方法

摘要

本发明公开了一种自然背景视频抠图方法，包括步骤：1)关键帧自动选取，通过计算帧间差异自动地选取视频中的关键帧；2)关键帧Trimap图的生成，允许用户通过少量的手工交互提供有效信息，采用GrabCut分割算法与高斯模糊方法半自动地生成关键帧上的Trimap图；3)中间帧Trimap图的生成，利用双向光流传播生成中间各帧的Trimap图，并利用颜色、梯度等信息修正光流传播产生的误差；4)根据所有视频帧的Trimap图，以及加入三维时空优化的贝叶斯抠图算法计算出视频每一帧的α掩码图，将α掩码图与新的背景进行合成，得到新的合成视频。本发明方法具有速度快，用户交互少，最后得到的新合成视频具有良好的时间连贯性，真实感更强等优点。

主权项

1.一种自然背景视频抠图方法，其特征在于，包括以下步骤：1)关键帧自动选取，通过计算帧间差异自动地选取视频中的关键帧，并根据当前视频运动情况得到一个自适应的结果；其中，所述的计算帧间差异自动选取关键帧，具体如下：假设{It:t＝0,1...,F‑1}为给定的视频序列，It为时刻t对应的视频帧，F为帧数；It(x,y)则为像素z＝(x,y)处的亮度值，假定每帧有NR行、NC列；从第二帧开始，对于每一帧图像，按照下式计算前一帧到当前帧的亮度差异，得到帧差图像Dt；Dt(x,y)＝|It(x,y)‑It‑1(x,y)|然后，定义阈值T对帧差图像Dt进行二值化：接下来遍历二值图像Bt，统计其中非0元的个数为At，作为当前帧相对于前一帧的运动区域的面积，计算运动区域在整幅图像中所占的面积比例Rt：然后利用运动区域占比，针对当前视频运动情况分布自适应地选取关键帧；所述的自适应地选取关键帧，具体如下：a)设定一个关键帧平均间隔tK，进而得到需要选取的关键帧总数Nk＝F/tK；b)将运动区域面积比例序列按照从大到小的顺序进行排序；对这个排序后的序列，依次从大到小取前NK个元素的帧序号插入关键帧集合，其中，视频的第一帧和最后一帧默认为关键帧；c)在物体高速运动时，会出现一些连续帧的运动区域面积比例都较大，在取得的关键帧中出现连续帧序号的情况，导致冗余现象；为了使关键帧的分布更加均匀，在b)步的过程中添加了适当地扰动，对于每一个将要依序插入关键帧集合的帧序号t，首先查找关键帧集合中是否有在区间[t‑r,t+r]的帧序号，若没有，则将t插入关键帧集合，若有，则说明集合中已有与第t帧相邻的帧，不插入序号t，继续向下取帧序号；2)关键帧Trimap图的生成，允许用户通过手工交互提供有效信息，采用GrabCut分割算法与高斯模糊方法半自动地生成关键帧上的Trimap图；3)中间帧Trimap图的生成，利用双向光流传播生成中间各帧的Trimap图，并利用颜色、梯度信息修正光流传播产生的误差；4)根据所有视频帧的Trimap图，以及加入三维时空优化的贝叶斯抠图算法计算出视频每一帧的α掩码图，将α掩码图与新的背景进行合成，得到新的合成视频。