[发明专利]对图像进行补全

说明书

本发明显著地涉及一种用于将具有至少一个孔洞的图像补全的计算机实现的方法，该方法包括提供(S10)表示图像的已知部分的基元的字典；利用包括对相应能量的至少一个最小化(S22‑S28)的过程来确定(S20)基元线性组合的最优分布，该相应能量在具有节点和标签的相应马尔可夫随机场上被定义，每个节点对应于孔洞的相应位置并且与相应标签相关联；以及利用最优分布来对孔洞进行填充(S30)。本发明对图像补全的领域进行了改进。

技术领域

本发明涉及计算机程序和系统的领域，并且更具体地涉及用于将具有至少一个孔洞的图像补全的方法、系统以及程序。

背景技术

市场上提供了很多用于对象的设计、工程以及制造的系统和程序。CAD是计算机辅助设计的首字母缩写，例如，CAD涉及用于对对象进行设计的软件解决方案。CAE是计算机辅助工程的首字母缩写，例如，CAE涉及用于对未来产品的物理行为进行仿真的软件解决方案。CAM是计算机辅助制造的首字母缩写，例如，CAM涉及用于对制造工艺和操作进行定义的软件解决方案。在这样的计算机辅助设计系统中，图形用户接口对于技术的效率起到重要作用。这些技术可以嵌入到产品生命周期管理(PLM)系统中。PLM是指这样的商业策略：跨越扩展企业的概念而帮助公司来共享产品数据、应用公共过程以及利用企业知识来从概念至产品的生命结束地开发产品。由Dassault Systèmes提供的PLM解决方案(商标为CATIA、ENOVIA以及DELMIA)提供了组织产品工程知识的工程中心、管理制造工程知识的制造中心、以及使得企业能够集成并连接到工程及制造中心的企业中心。该系统一起提供了开放的对象模型，其将产品、过程、资源链接起来以实现动态的且基于知识的产品创造与决策支持，这驱动优化的产品定义、制造准备、生产以及服务。

在该上下文和其它上下文中，已经对图像补全执行了许多研究。图像补全指示用于将具有至少一个孔洞的图像补全的算法。图像补全包括图像修复，图像修复指示其中至少一个孔洞相对较小的图像补全。相对较大的孔洞的图像补全相比于图像修复可能是解决起来更加困难的问题。事实上，图像修复类似于插补，其中本领域技术人员仅可以推断周围像素的值。

图像补全在不同的上下文中可用，包括在所有图像修整应用中，在图像修整应用中图像的一部分被移除，并且例如用户需要对移除的部分进行填充。这包括其中用户希望移动图像中的对象、或者用户希望将图像中的对象替换为别的内容的应用。更一般地，图像补全可以在其中用户希望填入缺失的数据并且数据被组织为连续2D阵列(矩阵形式)或者更一般地组织为连续ND阵列的任何情景中可用。

图像补全的三个已知种类可以识别为：

A.基于PDE的方法

B.基于统计的方法

C.基于样本的方法

A.基于PDE的方法

首先针对图像修复引入基于PDE的方法，其中孔洞经常来自裂纹、褶皱、伪像或反射。这些方法考虑通过传播来自空隙的边缘的信息来填充留下的空隙。信息是使用在像素级进行求解的偏微分方程来传播的。这样的方程包括诸如热方程之类的传播方程。这些方法经常使用具有Dirichlet边界条件的Laplace的PDE或者对各向异性扩散过程进行仿真。虽然纯扩散方法导致模糊的补全，但是已经设计出一些算法来保持边缘。

在以下文章中可以找到基于PDE的方法的示例：

-Bertalmio,Marcelo,Andrea L.Bertozzi和Guillermo Sapiro.Navier-stokes的fluid dynamics,and image and video inpainting.CVPR.2001年。