[发明专利]一种基于梯度融合与聚类的三维视频图像修复方法

说明书

本发明公开了一种基于梯度融合与聚类的三维视频图像修复方法，其按如下步骤进行：步骤1、构建梯度图像；步骤2、利用K均值聚类获得前景标记；步骤3、提取前景及修复填充空洞。在传统的分水岭算法中，由于伪局部极小值对分割的影响，容易产生严重的过分割现象。本发明基于分水岭算法，标记提取、梯度图构建、前/背景提取等角度，提供一种基于梯度融合与聚类的三维视频图像空洞填充方法。结合彩色图和深度图的梯度信息能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，能够有效地表达图像的梯度；采用K均值聚类对深度图进行前景标记，以抑制分水岭过分割现象。

技术领域

本发明属于视频图像修复技术领域，具体一种基于梯度融合与聚类的三维视频图像修复方法。

背景技术

基于深度图像绘制(DIBR)的视图合成是三维(3D)视频中常用的重要技术。该技术的核心思想就是通过3D转换处理对参考视图的纹理图和深度图进行虚拟视图的合成。由于DIBR技术在生成的虚拟视点图像时，存在暴露区域(即空洞)，严重影响了图像质量。因此，如何消除空洞的效果成为人们研究的热点。

为实现空洞的修复填充，大量的文献提出了不同的方法。一类是通过低通滤波器实现，常用的有高斯滤波器，双边滤波器等，但是这类方法主要通过平滑深度图像的梯度来减少空洞的面积，容易造成图像的结构信息的改变，引起几何扭曲。另一类方法是利用图像的纹理信息对空洞进行填充，主要利用各种图像修复技术来实，如各向同(异)性扩散、整体变分、偏微分方程(PDE)、光流场、纹理合成等方法。其中，PDE方法对平滑区域的恢复效果较好，但会模糊纹理细节。纹理合成技术则综合考虑了缺损区域边缘的结构和纹理，可以获得一个相对较好的效果，并且对于分别属于前景和背景区域的空洞，产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。

为了从原始图像中获得可用于填充空洞的背景信息，需对图像进行分割，提取感兴趣的信息用于空洞填充。分水岭变换是近几年发展起来的形态学分割方法，它保留了传统分割方法的优点，能够准确地获得前景物体的边缘信息，为后期提供了较好的预分割图像的操作。然而，由于大多数自然彩色分布图像具有较多的细致纹理特征，若直接采用分水岭变换进行分割，将导致其局部最小值过多，对那些对比度不高的图像很可能造成重要的分割线丢失。

发明内容

本发明的目的是针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，采用深度图的深度梯度结构信息对原有梯度图进行改进，并对深度图进行K均值聚类，获得标记图进行标记修正，提出了一种基于梯度融合与聚类的三维视频图像修复方法。

本发明解决其技术问题所采取以下技术方案：

一种基于梯度融合与聚类的三维视频图像修复方法，其针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，本发明采用分水岭算法与标记相结合的办法，对图像进行分割；充分利用深度图像的深度梯度结构信息，采用K均值聚类对梯度图像进行标记修正，以增强对前景对象的辨别能力。具体的：结合彩色图像和深度图像的梯度提取，充分考虑彩色图像的颜色特性和融合深度图像的几何特征，引入融合梯度，有效地表达图像的梯度，更好地衡量富含结构及纹理部分区域样本块之间的特征差别；为了有效抑制分水岭过分割现象和提取图像的前/背景，采用标记图像进行梯度重构优化，较好地克服了分水岭算法的过分割现象。

与彩色图相比，由于深度图不受光源照射方向及物体表面的反射特性的影响，而且不存在阴影。所以，深度图可以更准确地表现物体目标表面的三维深度信息，故结合彩色图和深度图的梯度信息来获得融合梯度图，更好地衡量富含结构及纹理部分区域样本块之间的特征差别。由于在分水岭变换时，因为局部极小值对分割的影响，容易产生严重的过分割现象，为此，采用K均值聚类方法对深度图进行前景标记，并对融合梯度图进行修改优化。具体实现步骤如下：

步骤1、梯度图像的构建