[发明专利]图像修复方法及装置

权利要求书

1.一种修复被包括在图像中的对象遮挡的图像区域的方法，所述方法包括以下步骤：

从所述图像的帧当中选择包括要移除的所述对象的目标帧和包括关于所述目标帧内并被所述对象遮挡的修复区域的信息的参考帧；以及

通过根据被选为所述参考帧的帧的数量执行帧间修复或帧内修复中的至少一者来修复所述目标帧。

2.根据权利要求1所述的方法，其中，选择所述一个或更多个帧的步骤包括：

通过使用位于所述目标帧中并且检测到所述对象的区域的邻近像素来计算所述目标帧和与所述目标帧相邻的帧之间的相似度；以及

选择所述相似度高于预定阈值相似度的帧作为所述参考帧，并且生成关于所述参考帧内的具有最高相似度的相似区域的信息，并且

其中，修复的步骤包括：

接收关于所述目标帧的信息、关于所述参考帧的信息以及关于所述相似区域的信息以修复所述目标帧。

3.根据权利要求2所述的方法，其中，生成关于所述相似区域的信息的步骤包括：

根据所述对象在所述参考帧中的位置，将所述相似区域划分为至少一个划分区域；以及

向每个划分区域指派不同的权重。

4.根据权利要求1所述的方法，其中，选择所述一个或更多个帧的步骤包括：

第一选择过程，所述第一选择过程包括：

通过按时间顺序检查所述图像的帧来选择不包括所述对象的帧作为后向参考帧，并且选择包括所述对象的帧作为所述目标帧；以及

第二选择过程，所述第二选择过程包括：

通过按时间顺序检查在时间上位于所述目标帧之后的一个或更多个帧来选择不包括所述对象的帧作为前向参考帧。

5.根据权利要求1所述的方法，其中，选择所述一个或更多个帧的步骤包括：

从完成修复的已处理帧当中选择所述参考帧，

其中，选择所述参考帧的步骤包括：

选择具有与所述目标帧中的修复区域不交叠的修复区域的处理帧作为所述参考帧。

6.根据权利要求1所述的方法，其中，选择所述一个或更多个帧的步骤包括：

基于从所述图像提取的场景转换信息，从同一场景内的帧当中选择所述目标帧和所述参考帧。

7.根据权利要求1所述的方法，其中，修复所述目标帧的步骤包括：

当目标帧的数量与参考帧的数量之和超过帧处理的预设单元时，执行所述帧间修复或所述帧内修复中的至少一者。

8.根据权利要求1所述的方法，其中，修复所述目标帧的步骤包括：

当没有帧被选为所述参考帧时，执行所述帧内修复，并且当存在被选为所述参考帧的帧时，执行所述帧间修复。

9.根据权利要求1所述的方法，其中，修复所述目标帧的步骤包括：

当没有帧被选为所述参考帧时，对所述目标帧中的一些执行所述帧内修复以生成修复帧；以及

通过使用所述修复帧作为参考帧来对剩余目标帧执行所述帧间修复。

10.根据权利要求1所述的方法，其中，修复所述目标帧的步骤包括：

从所述目标帧生成查询特征矩阵；

从所述参考帧生成关键特征矩阵；

计算所述查询特征矩阵与所述关键特征矩阵之间的相似度；以及

基于所述相似度生成修复帧。

11.根据权利要求10所述的方法，其中，所述查询特征矩阵和所述关键特征矩阵各自是三维矩阵，并且

其中，所述查询特征矩阵是从所述修复区域或所述修复区域的邻近区域生成的。

12.根据权利要求10所述的方法，其中，计算所述相似度的步骤包括：

计算所述目标帧内的区域与所述参考帧内的区域之间的相似度。