[发明专利]一种图像空洞填补的多尺度全局采样方法

说明书

技术领域

本发明涉及计算机视觉、图像处理和虚拟现实技术领域，具体地说是一种图像空洞填补的多尺度全局采样方法，修复场景对象提取和场景编辑过程中产生的“空洞”，保证填补后图像场景在视觉上的合理性。

背景技术

图像虚拟场景生成是虚拟现实和虚拟场景生成的重要组成部分。在图像虚拟场景生成的整个过程中，可能会出现如下情形：在图像场景中提取某些场景对象形成场景对象素材后，原有的图像场景会出现“空洞”现象；在虚拟场景添加不同来源的场景对象以前，有可能需要从场景中去除某些不需要的对象或者物体；在场景对象的编辑与融合过程中，可能会产生新的空洞区域。为了确保图像虚拟场景的完整性，需要填补或者修复图像虚拟场景中存在的“空洞”。

目前按照图像空洞填补问题的求解方式来划分，可分为贪婪方法和全局优化方法。微软亚洲研究院的孙坚等人为了更好的修复图像受损区域中的结构信息，提出了一种交互式的图像空洞填补方法，该方法直接由用户给定受损区域内的边结构，首先完成整个受损区域内的边结构修复后，再利用纹理合成技术填充剩余区域。但是该方法并非全自动的空洞填补方法，需要用户的手动参与。而且该方法的本质是贪婪方法，每次在局部找一个最好图像块贴到空洞区域，并且空洞填补的过程不可逆，对于复杂图像或者空洞区域面积较大的情况，效果往往不佳。

以色列魏茨曼科学研究所计算机科学与应用数学系的Wexler等人通过期望值最大算法进行图像修复，该方法利用期望值最大算法求解全局优化问题，保证空洞区域整体上与边界处图像信息融合最好。但由于期望值最大算法对于初始化相当敏感，它很容易得到很差的局部最优解，此外，期望值最大算法中用到的最小二乘法会导致模糊的修复结果。

美国麻省理工学院计算机科学与人工智能实验室的Cho等人提出图像块转移算法用于图像空洞填补，该算法将图像划分为不重叠的图像块区域，在图像块之间增加约束，重建空洞区域的所有图像信息。所有的图像块形成一个高阶的马尔科夫随机场，空洞区域内相邻的图像块之间要无缝的融合，从已知图像区域的每个图像块样例仅能够使用一次。算法中的整个马尔科夫随机场使用信任传播算法求解一个近似的最优解。

以色列耶路撒冷希伯来大学计算机科学与工程系的Pritch等人提出ShiftMap算法。图像所有像素点形成一个马尔科夫随机场，图结构的节点为每个像素点，图结构的标签为x，y方向上的偏移量，将图像空洞填补问题转化为一个图着色问题，空洞区域每个节点需要贴一个已知区域的像素点的颜色值，整个问题采用图像图分割算法求解。

希腊克里特大学计算机科学系的Komodakis等人提出一种新的基于样例的全局空洞填补算法，统一的对待图像空洞填补以及纹理合成，为了避免计算出视觉上不连续的结果，该方法将图像空洞填补问题建模为一个离散全局优化问题，定义一个全局的目标函数或能量函数，利用改进的信任传播的算法优化一个离散化的马尔可夫随机场的能量。面向图像空洞填补问题，该算法主要对标准的信任传播算法进行了有两个重要的扩展：“基于优先级的消息调度”和“动态标签剪枝”。这两个扩展，能够大大减少全局优化算法中标签量较大造成的计算成本。

在计算机视觉和图像处理中，各向异性分布均匀的纹理一般用马尔科夫随机场来建模，图像的形成是一个随机过程。基于像素点采样的纹理合成方法随机变量是每个像素点，它的局限性在于无法确定马尔科夫随机场邻域关系的阶数，即采样窗口的大小。当窗口取得太小时，无法捕捉到该纹理的主要模式，也就无法采样合成出与原图像感知一致的纹理。

发明内容

根据场景生成中图像空洞填补的实际需求和关键问题，本发明的目的是提出了一种图像空洞填补的多尺度全局采样方法，寻找到一个全局的最好图像块贴到空洞区域，填补或者修复场景对象提取和场景编辑过程中产生的“空洞”，克服空洞填补过程不可逆而造成的对复杂图像或者空洞区域面积较大情况的填补效果不佳问题，确保图像虚拟场景的完整性，保证填补后图像场景在视觉上的合理性。

为完成本发明的目的，本发明采用的技术方案是：

一种图像空洞填补的多尺度全局采样方法，包括以下步骤：

(1)首先计算出输入图像的主要简约图表达，将输入图像划分为几何层和纹理层，接着检测出主要简约图表达中结构部分与图像空洞区域相交的连接点，包括T型和Y型的连接点，然后根据连接点之间的弹性能量和张量投票恢复出图像空洞区域的结构线，最后利用信任传播恢复出图像空洞区域中曲线上的图像块即结构信息。