[发明专利]一种数据驱动的物体图像修复系统及方法

说明书

技术领域

本发明涉及一种数据驱动的物体图像修复系统及方法，具体来说，是一种涉及物体识别领域中形状匹配技术、图像修复领域中结构图像修复技术、纹理修复与纹理合成技术的物体图像修复系统及方法。

背景技术

广义的图像修复，指的是一种修改图像使得观察者在不知原图的情况下无法发现人工修改痕迹的图像修改技术。早期图像修复的目的是将一些古老的作品恢复原貌，例如将油画作品上的裂痕或者缺失部分再通过油画技术进行修复、补齐。不过类似的工作需要具有相关技术的艺术工作者才能完成，并且是在作品的原稿上进行操作。

当今数字产品例如数码相机、数码摄像机的普及，使得图像修复被赋予更多新的使命，面临更多挑战，例如用户使用数码相机拍下一张风景照后，想要去除挡在风景前方的人或物体，并使别人看不出图像的修复痕迹。在计算机视觉、数字图像处理领域，图像修复的目的是去除图像中的多余物体或者修复重建受损图像。如何让计算机很好地完成图像修复工作，而不需要用户具有过多的专业知识，逐渐成为了该领域的研究热点。

目前已经很多专利所公开的方法可以较好地进行图像修复重建或者去除多余物体，但是还有问题未能很好地解决：当目标物体部分被多余物体遮挡，现有的算法在去除多余物体之后，无法很好地修复目标物体

图像修复的方法可以总结为一个基于已知的图片局域来填补修复区域的过程。现有专利所公开的方法主要可以分成两类：一类是基于插值的图像修复方法；一类是基于范例的图像修复方法。前者的思路是采用了类似热扩散的方法，通过未知像素点周围的已知像素点来决定该点的取值，让受损区域周围的像素点，顺着等照度线的方向向修复区域内部扩散，这种方法主要是针对受损区域比较小，例如噪声或者折痕、缝隙，的图片进行修复，因为随着修复区域的增大，该方法产生的模糊效应会愈加明显，使修复效果变差。后者主要是针对修复受损区域较大的图片，是以“采样-合成”的纹理合成思路，先确定修复的位置，然后在原图中或者在其他样本图片中采样，选择最合适的样本，然后再通过图像融合技术将样本融合到修复区域。根据纹理类别的不同，我们需要采用不同的图像修复策略，策略包括修复位置的优先关系，样本的来源和图像融合技术的选择。这种方法可以很好地修复一些纹理信息，并通过调整修复位置的优先关系来保持原图一些简单的结构信息，不过与此同时计算量也相应地提高。

物体图像可以看成是复杂结构信息（物体形状）和物体本身表面纹理信息相结合的复杂图像。物体图像修复，是比结构修复更加复杂的情况，从目标丢失的信息量来看，物体图像修复介于结构修复和场景修复之间，是一种新的图像修复算法分类。目前物体图像修复还没有一种很好的解决方案。因为修复物体需要克服两大难题：首先物体具有特有的复杂形状结构和纹理，不再是简单的结构纹理，并且该形状结构无法通过启发式方法推导出来；再次物体被遮挡的区域可能无法在原图中进行采样修复。而现有的任何一种方法都不能很好地解决这两大问题。

发明内容

针对上述问题，本发明提供一种数据驱动的图像修复系统方法，该系统在图像中物体缺失关键部位且缺失内容未在原图中出现的情况下，在用户交互的基础上，通过带标注的图像数据库驱动进行图像修复，修复缺失部位。

本发明的第一个目的是提供一种物体图像修复系统，通过以下技术手段实现：包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块；

所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓；

所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中进行轮廓匹配和颜色匹配，搜索具有最相似轮廓和最相似颜色物体的匹配图像；

所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；

所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法（即每修复一个图像分块时，都全局搜索一个最优的样本分块）进行纹理修复；

所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹；

所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像；