[发明专利]图像修复方法及装置

说明书

公开了图像修复方法及装置。提供了图像修复方法。根据本公开的一方面，一种修复隐藏在包括在图像中的对象之后的区域的方法包括以下步骤：从图像的帧中选择要从其移除对象的目标帧和包括于隐藏在对象之后的目标帧内部的修复区域相关的信息的参考帧；以及通过根据被选为参考帧的帧的数量执行帧间修复和/或帧内修复来修复目标帧。

技术领域

本公开在一些实施方式中涉及图像修复方法和图像修复装置。

背景技术

本部分中的陈述仅提供与本公开相关的背景信息，并且不一定构成现有技术。

各种字幕被添加至视频以帮助观看者理解视频或制作更有趣的视频。例如，当针对国内观众导入时，外国视频会将表演者的语音等翻译并添加为字幕。另外，字幕有助于即使在嘈杂的环境中也能传达内容。

然而，在一些情况下，字幕转变为对观看视频的阻碍。例如，观看视频以学习外语的观看者可能发现字幕干扰他们的学习。另外，过度的字幕可能遮挡屏幕的多个部分，从而使得难以专注于视频。此外，如果添加了外语字幕并且观看者不理解它，则没有字幕可能更好。

当字幕和视频作为单独的信道存在时，编辑或移除字幕不是困难的。然而，当字幕与视频集成并且添加字幕之前的原始视频不可用时，出现困难。在这种情况下，视频通常被改变以隐藏字幕(例如，通过模糊字幕区域、在加字幕的区域上添加半透明和/或不透明的带或者在一些严重的情况下，从视频中切除整个字幕区域)。

因此，越来越需要在不破坏视频的情况下对被字幕遮挡的区域进行修复的技术。

现有的图像修复技术包括通过参考要移除的区域的邻近像素信息对被遮挡区域进行修复的基于扩散的方法以及将屏幕划分成多个区域并且然后选择合适的区域来替换被遮挡区域的基于补丁(patch)的方法。

发明内容

技术问题

在一些实施方式中，本公开试图提供一种图像修复方法和图像修复装置，其通过以下操作生成具有高质量的修复图像：从输入图像选择要从其移除字幕的目标帧和用于获得关于被字幕遮挡的区域的信息的参考帧，从而执行基于帧间相关性的图像修复和/或基于帧内相关性的图像修复。

技术方案

本公开的至少一个方面提供了一种修复被包括在图像中的对象遮挡的图像区域的方法，所述方法包括以下步骤：从所述图像的帧当中选择包括要移除的所述对象的目标帧和包括关于位于所述目标帧内并被所述对象遮挡的修复区域的信息的参考帧；以及通过根据被选为所述参考帧的帧的数量执行帧间修复或帧内修复中的至少一者来修复所述目标帧。

本公开的另一方面提供了一种用于修复被包括在图像中的对象遮挡的图像区域的装置，所述装置包括帧选择单元和修复单元。所述帧选择单元被配置为选择包括要移除的所述对象的目标帧和包括关于位于所述目标帧内并被所述对象遮挡的修复区域的信息的参考帧。所述修复单元被配置为根据所述参考帧的数量执行帧间修复或帧内修复中的至少一者，以生成修复帧。

有益效果

如上所述，根据至少一个实施方式的本公开可以通过以下操作生成高质量的修复图像：从输入图像选择要从其移除字幕的目标帧和用于获得关于被字幕遮挡的区域的信息的参考帧，从而执行基于帧间相关性的图像修复和/或基于帧内相关性的图像修复。

此外，根据实施方式的本公开可以从具有字幕编辑的完成图像获得编辑之前的原始图像，从而实现购买原始图像、存储原始图像以及执行图像处理方面的成本降低。

附图说明

图1是根据本公开的至少一个实施方式的图像修复装置的示意性框图。

图2至图4c例示了根据本公开的第一实施方式的帧选择单元。

图5例示了根据本公开的第二实施方式的帧选择单元。