[发明专利]图像处理设备及图像处理方法

说明书

技术领域

本发明涉及图像处理，并且更具体地涉及一种用于提高图像分辨率的图像处理设备以及图像处理方法。

背景技术

随着数字图像数据的广泛应用，用于处理图像数据的技术被广泛地应用。

例如，使用图像数据的图像处理设备在必要时改变图像数据的分辨率(例如，参见PTL 1)。

另一方面，广泛地利用了使用多个图像捕获设备以及处理图像的图像处理设备的远程监视系统。

存在下面一种情况，在这种情况中，利用上面描述的远程监视系统捕获的图像数据具有比图像捕获设备的性能或外部因素所要求的分辨率低的分辨率。

超分辨率技术是用于处理这类图像数据的分辨率的技术之一，且更具体地，超分辨率技术是一种用于提高图像数据的分辨率的技术。

超分辨率技术包括以下技术。

第一种超分辨率技术是多图像超分辨率技术。该多图像超分辨率技术是用于通过使用运动画面或多个连续拍摄的图像数据(多个帧)生成单个高分辨率图像数据的技术(例如，参见PTL 2)。如上面所描述的，为了实现高分辨率，多图像超分辨率技术要求多个图像的图像数据。因此，多图像超分辨率技术不能够从单个图像数据生成高分辨率图像数据。

第二种超分辨率技术是基于学习的超分辨率技术。基于学习的超分辨率技术是基于预先学习来生成词典，并通过使用该词典提高单个图像数据分辨率的技术(例如，参见PTL 3)。由于基于学习的超分辨率技术使用词典，因此基于学习的超分辨率技术可以实现其分辨率高于多图像超分辨率技术的超分辨率。

将参考附图对使用基于学习的超分辨率技术的图像处理设备进行进一步描述。

使用基于学习的超分辨率技术的图像处理设备通常包括学习阶段和超分辨率阶段。

图7为示出包括使用基于学习的超分辨率技术的图像处理设备910的图像处理系统900的配置的示例的框图。

图像处理系统900包括图像处理设备910、学习设备920以及词典930。

学习设备920通过使用学习图像51生成保存在词典930中的数据(词典数据)。即，学习设备920处理学习阶段。

将参考图8和图9描述学习设备920和学习阶段。

图8为示出学习设备920的配置的示例的框图。

图9为用于描述学习阶段的绘图。

学习设备920包括接收单元921、模糊(blurred)图像生成单元922、补丁(patch)对生成单元923和注册单元924。

接收单元921接收用于学习的高分辨率图像(学习图像51)，且向模糊图像生成单元922和补丁对生成单元923发送学习图像51。

模糊图像生成单元922基于学习图像51生成具有较低分辨率的低分辨率图像(模糊图像52)。如图9中所示，模糊图像生成单元922可以生成多个模糊图像52。模糊图像生成单元922向补丁对生成单元923发送模糊图像52。

补丁对生成单元923从学习图像51中提取预定范围内的图像(高分辨率补丁511)。随后，补丁对生成单元923从模糊图像52中提取与提取的高分辨率补丁511相对应的图像(低分辨率补丁521)。补丁对生成单元923生成补丁对531，该补丁对531通过将高分辨率补丁511和低分辨率补丁521合并而获得。补丁对生成单元923向注册单元924发送补丁对531。

注册单元924将补丁对531存储至词典930。

将再次参考图7进行阐述。

如上面所描述的，词典930存储补丁对531。

图像处理设备910合成复原图像55，该复原图像55由通过使用词典930的补丁对531将输入图像54变为高分辨率而生成。即，图像处理设备910处理超分辨率阶段。

将参考图10和图11对图像处理设备910和超分辨率阶段进行描述。

图10为图示出图像处理设备910的配置的示例的框图。

图11为用于描述超分辨率阶段的绘图。

图像处理设备910包括补丁生成单元911、选择单元912和合成单元913。

补丁生成单元911接收输入图像54。然后，补丁生成单元911基于输入图像54生成补丁(输入补丁541)，该补丁将与补丁对531的低分辨率补丁521进行比较。补丁生成单元911向选择单元912发送生成的输入补丁541。