[发明专利]用于活动图像的超分辨率处理方法及其图像处理装置

权利要求书

1.一种视频的超分辨率处理方法，所述方法包括：

将所述视频中包括的多个帧顺序地输入用于超分辨率处理的循环神经网络RNN或用于超分辨率处理的卷积神经网络CNN；

响应于多个帧是从RNN被顺序地输出，分别将所述多个帧顺序地输入CNN；

响应于多个帧是从所述CNN被顺序地输出，分别将所述多个帧顺序地输入所述RNN；以及

通过关于从所述CNN或所述RNN输出的所述多个帧执行去卷积而提升从所述CNN或所述RNN输出的多个帧的分辨率。

2.根据权利要求1所述的超分辨率处理方法，其中，将所述视频中包括的所述多个帧顺序地输入所述RNN或所述CNN还包括将所述多个帧顺序地输入所述RNN，并且

其中，将从所述RNN或所述CNN顺序地输出的所述多个帧顺序地输入所述CNN或所述RNN还包括将从所述RNN输出的多个帧顺序地输入所述CNN。

3.根据权利要求2所述的超分辨率处理方法，还包括：

将从所述CNN顺序地输出的多个帧循环到所述RNN，

其中，从所述CNN输出的多个帧包括与比输入到所述RNN的对应帧分辨率高的帧相关的信息。

4.根据权利要求2所述的超分辨率处理方法，还包括：

将从所述CNN顺序地输出的多个帧顺序地输入附加RNN；以及

将与所述附加RNN的隐藏状态相关的信息循环到所述RNN，

其中，所述提升包括对从所述附加RNN顺序地输出的多个帧执行去卷积。

5.根据权利要求2所述的超分辨率处理方法，其中，所述CNN通过滤波从所述RNN顺序地输出的多个帧来生成特征图，关于所述特征图执行批量标准化，并将激活函数应用于标准化特征图。

6.根据权利要求1所述的超分辨率处理方法，还包括：

通过使用关于从所述RNN循环的先前帧的隐藏状态的信息来预测所述视频的场景改变；

基于所述场景改变被预测，将关于所述先前帧的隐藏状态的信息改变为零值；以及

基于被改变为零值的关于所述先前帧的隐藏状态的信息来更新关于当前帧的隐藏状态的信息。

7.根据权利要求6所述的超分辨率处理方法，其中，预测所述场景改变还包括：通过使用基于关于所述先前帧的隐藏状态的信息而预测的关于当前帧的隐藏状态的信息来计算错误率，以及

根据计算的错误率是否超过预定阈值来预测所述视频的场景改变。

8.根据权利要求1所述的超分辨率处理方法，其中，将所述视频中包括的所述多个帧顺序地输入所述RNN或所述CNN还包括：基于所述视频的输出格式为YCbCr通道，仅将来自所述多个帧当中的与Y通道对应的帧顺序地输入所述RNN或所述CNN。

9.根据权利要求1所述的超分辨率处理方法，其中，所述RNN包括长短期记忆(LSTM)网络。

10.一种执行视频的超分辨率处理的图像处理装置，包括：

输入器，被配置为接收所述视频的输入；以及

处理器，被配置为：

将所述视频中包括的多个帧顺序地输入用于超分辨率处理的循环神经网络RNN和用于超分辨率处理的卷积神经网络CNN，

响应于多个帧是从RNN被顺序地输出，分别将所述多个帧顺序地输入CNN，

响应于多个帧是从所述CNN被顺序地输出，分别将所述多个帧顺序地输入所述RNN；以及

通过对从所述CNN或所述RNN顺序地输出的所述多个帧执行去卷积而提升从所述CNN或所述RNN输出的多个帧的分辨率。

11.根据权利要求10所述的图像处理装置，其中，所述处理器还被配置为：

将所述多个帧顺序地输入所述RNN，并且将从所述RNN输出的所述多个帧顺序地输入所述CNN。