[发明专利]实时超分辨率图像处理的方法和系统

权利要求书

1.一种超分辨率图像处理的由计算机实现的方法，包括：

获得至少一个较低分辨率(LR)图像；

生成至少一个高分辨率(HR)图像，包括将所述至少一个LR图像的图像数据输入到至少一个超分辨率(SR)神经网络中；

分开生成权重或偏置或这两者，包括使用所述LR图像的统计数据；以及

将所述权重或偏置或这两者提供给所述SR神经网络以用于生成所述至少一个HR图像。

2.如权利要求1所述的方法，其中，所述权重或偏置是在控制流程处生成的，所述控制流程是与操作所述SR神经网络的像素处理流程并行操作的。

3.如权利要求2所述的方法，其中，在所述控制流程处生成所述权重或偏置或者这两者的速率慢于所述SR神经网络处的帧速率。

4.如权利要求1-3中任一项所述的方法，包括：获得所述LR图像的视频序列，并且其中，所述权重或偏置或这两者沿着所述视频序列按预定的图像间隔被更新，而不是随着所述视频序列中的每一个图像被更新。

5.如权利要求1-3中任一项所述的方法，其中，所述权重或偏置或这两者被生成来用于目标图像，并且被布置为：当所述权重或偏置被生成得太晚以至于不能用在所述目标图像上时，被用在沿着图像的视频序列接近所述目标图像的图像上。

6.如权利要求1-3中任一项所述的方法，包括：将所述LR图像中的至少一者输入到卷积神经网络(CNN)中以生成统计值。

7.如权利要求6所述的方法，其中，所述统计数据包括全局加权平均值，每个全局加权平均值表示整个图像。

8.如权利要求1-3中任一项所述的方法，其中，所述权重或偏置是通过使用所述统计数据生成权重的卷积内核来生成的。

9.如权利要求1-3中任一项所述的方法，其中，生成所述权重或偏置包括：将用户偏好值和所述统计数据输入到权重引擎神经网络中，以生成比例系数来应用到权重的卷积内核。

10.一种用于图像处理的系统，包括：

至少一个处理器；以及

至少一个存储器，与所述至少一个处理器通信耦合并且存储低分辨率(LR)图像的视频序列，所述至少一个处理器被配置为通过以下步骤来操作：

生成更高分辨率(HR)图像，包括将所述LR图像的图像数据输入到至少一个超分辨率(SR)神经网络中；

分开生成权重或偏置或这两者，包括使用LR图像统计数据，并且是沿着所述视频序列按若干个图像的间隔来生成的；并且

将所述权重或偏置或这两者按所述间隔提供给所述SR神经网络以用于生成所述HR图像。

11.如权利要求10所述的系统，其中，所述统计数据是在统计神经网络中生成的，所述统计神经网络接收所述图像数据作为输入并且从权重层生成权重来应用到值层的统计值以生成输出统计数据。

12.如权利要求10所述的系统，其中，所述统计数据包括全局加权值的向量，每个值表示整个图像。

13.如权利要求10所述的系统，其中，所述权重或偏置的生成包括：将所述统计数据输入到权重引擎神经网络中，所述权重引擎神经网络生成比例系数来应用到权重的卷积内核。

14.如权利要求10所述的系统，其中，当所述权重或偏置或这两者的生成晚了时，所述神经网络使用最新可用的权重或偏置或这两者，而不是等待更新后的权重或偏置或这两者被生成。

15.如权利要求10-14中任一项所述的系统，其中，所述SR神经网络是通过故意模糊输入训练图像来进行训练的。