[发明专利]一种基于梯度融合与聚类的三维视频图像修复方法

权利要求书

1.一种基于梯度融合与聚类的三维视频图像修复方法，其特征是按如下步骤进行：

步骤1、构建梯度图像；

步骤2、利用K均值聚类获得前景标记；

步骤3、提取前景及修复填充空洞；

步骤1，采用彩色向量空间梯度算法，直接在RGB向量空间计算梯度；设是RGB彩色空间沿R、G、B轴的单位向量，像素沿水平方向和垂直方向的彩色梯度用向量来表述：

根据这些矢量的点积，分别定义g_xx、g_yy和g_xy如下：

由此可得彩色图像的梯度图为：

其中，变量θ的大小为：

对深度图进行梯度处理：

令G_depth为深度图像I的深度梯度图，其中任意像素点的梯度值为：

其中，G_x，G_y为水平方向梯度与垂直方向梯度，大小分别利用模板Sobel算子与图像I进行卷积计算而得；结合彩色梯度图G_color与深度梯度图G_depth，对彩色图像的梯度图重新定义为：

G＝αG_color+βG_depth (9)

其中，α+β＝1，取α＝0.4，β＝0.6；

步骤2，采用K均值聚类方法对深度图进行初步提取前景，获取感兴趣的目标对象；

利用K均值聚类，K＝2，将深度图粗糙的分为两类，白色区域为前景，黑色区域为背景；通过检测连续帧之间的前景区域的变化，对被遮挡的背景进行更新；当利用K均值聚类对第n帧的深度图像进行处理时，可获得第一个前景模板；对第n+1帧进行相同处理，获得第二个前景模板；比较第一个和第二个前景模板之间的差别，获得第n帧与第n+1帧之间的前景对象的移动区域，记为以此类推，用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域最后将获得的所有前景对象移动区域进行叠加，最终获得第n帧在整个视频序列中的前景对象移动区域，即将所提取的前景对象移动区域简称为第n帧的标记图；

在获取第n帧的标记图后，对融合梯度图G进行修改优化；根据标记图中的前景对象移动区域逐一找到融合梯度图G中对应的区域，并将该区域的梯度值强制标定为局部极小值，得到修改优化后的梯度图，记为G′。

2.如权利要求1所述基于梯度融合与聚类的三维视频图像修复方法，其特征是：

步骤3，当完成对梯度图优化后，利用分水岭变换，对优化梯度图进行分割，提取前景；令I_ws分水岭变换结果，即

I_ws＝watershed(G′) (10)

其中，watershed(·)表示分水岭；

在此基础上，再次利用前景标记对分水岭变换后的图像I_ws进行前景提取；若将分水岭变换后的图像I_ws中的区域定义为Γ_i(i≥1)，利用前景标记Γ_K对区域Γ_i中的像素点p进行前景判断，并计算区域Γ_i内的前景像素点所占百分比：

根据α的大小，按以下原则判断该区域是否为前景区域：当α≥0.5时，该区域为前景区域；当α＜0.5时，该区域为背景区域；

获取背景图；

对空洞的修复填充原则是，对由前景移动产生的空洞，利用背景图像进行填充；对非前景移动产生的空洞，则利用Criminisi算法进行填充；

由于因前景移动产生的空洞主要出现前景和背景的交界处，即深度值产生大幅度跳变的区域，因此，对深度图像中的深度值进行检测，确定出现空洞的位置，利用背景图像中的相应区域对空洞进行填充；检测深度值突变的公式如下所示：

其中，D(i’,j’)为点(i’,j’)处的深度值；对于Dmask＝1,2的像素点，利用背景图像进行填充；对于Dmask＝0的像素点，利用Criminisi算法进行填充。

3.如权利要求2所述基于梯度融合与聚类的三维视频图像修复方法，其特征是：采用帧差法获取背景图，具体步骤如下：

(1)对视频序列中的每一帧进行分水岭变换，获得每一帧的前景区域和背景区域；

(2)选取其中一帧，逐一将该帧的前景区域与其他帧的前景区域进行比较，获得遮挡区域；

(3)利用其他帧的背景区域对遮挡区域进行填充，最后获得整个视频的背景图像。