[发明专利]用于活动图像的超分辨率处理方法及其图像处理装置

说明书

提供一种活动图像的超分辨率处理方法。活动图像的超分辨率处理方法包括：将视频中包括的多个帧顺序地输入用于超分辨率处理的循环神经网络(RNN)或用于超分辨率处理的卷积神经网络(CNN)中的任一个中，将从RNN和CNN中的任一个顺序地输出的帧顺序地输入RNN和CNN中的另一个中，以及通过关于从CNN和RNN中的该另一个顺序地输出的帧执行去卷积来提升输出帧的分辨率。

技术领域

本公开涉及活动图像的超分辨率处理方法及其图像处理装置，并且更特别地，涉及能够将活动图像提升(upscale)到超分辨率的超分辨率处理方法及其图像处理装置。

背景技术

近年来，卷积神经网络(CNN)(其为一种类型的深度学习技术)被用于图像的超分辨率处理。超分辨率处理一般包括以下步骤：响应于在CNN中接收低分辨率的图像，获得对于图像的每个分块的特征数据，以及通过使用获取的特征数据和先前学习数据将接收的低分辨率图像提升为超分辨率图像。

因此，通过基于CNN的超分辨率处理方法，与简单地扩大低分辨率图像的大小的情况相比，用户可以获得平滑和锐利的超分辨率图像。用于超分辨率处理的CNN也一般称为超分辨率CNN(SRCNN)。

但是，如果在活动图像中使用相同的超分辨率处理，则可以关于活动图像中包括的多个帧中的每一个获得超分辨率帧；但是，彼此独立地关于多个帧中的每一个执行超分辨率处理，如此可能发生闪烁现象或在多个帧当中出现不连续伪影的现象。

因此，需要改进措施以解决对于其进行基于CNN的超分辨率处理的活动图像的闪烁现象或出现不连续伪影的现象。

发明内容

问题的解决方案

本公开的实施例将至少处理上述问题和/或缺点并且将至少提供下述的优点。

根据公开的一个方面，提供了一种超分辨率处理方法，其能够在没有闪烁现象的情况下获得对于其连续进行超分辨率处理的活动图像，还提供了用于超分辨率处理的图像处理装置。

根据一个实施例，提供了一种活动图像的超分辨率处理方法，所述方法包括：将所述活动图像中包括的多个帧顺序地输入用于超分辨率处理的循环神经网络(RNN)或用于超分辨率处理的卷积神经网络(CNN)；响应于多个帧是从所述RNN或所述CNN被顺序地输出，分别将所述多个帧顺序地输入所述CNN或所述RNN；以及通过关于从所述CNN或所述RNN输出的所述多个帧执行去卷积而提升从所述CNN或所述RNN输出的多个帧的分辨率。

根据另一实施例，提供了一种执行活动图像的超分辨率处理的图像处理装置，所述图像处理装置包括：输入器，所述输入器被配置为接收所述活动图像的输入；以及处理器，所述处理器被配置为：将所述活动图像中包括的多个帧顺序地输入用于超分辨率处理的循环神经网络(RNN)和用于超分辨率处理的卷积神经网络(CNN)，响应于多个帧是从所述RNN或所述CNN被顺序地输出，分别将所述多个帧顺序地输入所述CNN或所述RNN，以及通过对从所述CNN或所述RNN顺序地输出的所述多个帧执行去卷积而提升从所述CNN或所述RNN输出的多个帧的分辨率。

根据另一实施例，提供了一种记录介质，其存储用于执行活动图像的超分辨率处理方法的程序，所述方法包括：将所述活动图像中包括的多个帧顺序地输入用于超分辨率处理的RNN或用于超分辨率处理的CNN；响应于多个帧是从所述RNN或所述CNN被顺序地输出，分别将所述多个帧顺序地输入所述CNN或所述RNN；以及通过对从所述CNN或所述RNN顺序地输出的所述多个帧执行去卷积而提升多个帧的分辨率。

附图说明

图1是示意了根据实施例的通过CNN执行超分辨率处理的方法的图。

图2至5是示意了根据各种实施例的在其中组合CNN和RNN的超分辨率处理过程的图。

图6是示意了根据实施例的活动图像的超分辨率处理的方法的流程图。