[发明专利]实时超分辨率图像处理的方法和系统

说明书

本公开涉及实时超分辨率图像处理的方法和系统。一种方法、系统和物品涉及使用神经网络的实时超分辨率图像处理。

技术领域

本公开涉及实时超分辨率图像处理的方法和系统。

背景技术

超分辨率(super-resolution，SR)成像是将较低分辨率(lower resolution，LR)图像提升到较高分辨率(higher resolution，HR)图像，并且经常被执行来以HR渲染帧序列的视频。然而，传统的实时技术在处理真实世界、相机拍摄的图像时，仍然提供质量较差的图像。而且，高质量的SR技术往往是基于神经网络的，因此计算量非常大，进而也相对较慢，这样，这些高质量的基于网络的传统超分辨率技术无法执行超分辨率转换，以在小型或边缘设备上实时提供HR视频。

发明内容

根据本公开的一个实施例，提供了一种超分辨率图像处理的由计算机实现的方法，包括：获得至少一个较低分辨率(LR)图像；生成至少一个高分辨率(HR)图像，包括将所述至少一个LR图像的图像数据输入到至少一个超分辨率(SR)神经网络中；分开生成权重或偏置或这两者，包括使用所述LR图像的统计数据；以及将所述权重或偏置或这两者提供给所述SR神经网络以用于生成所述至少一个HR图像。

根据本公开的另一实施例，提供了一种用于图像处理的系统，包括：至少一个处理器；以及至少一个存储器，与所述至少一个处理器通信耦合并且存储低分辨率(LR)图像的视频序列，所述至少一个处理器被配置为通过以下步骤来操作：生成更高分辨率(HR)图像，包括将所述LR图像的图像数据输入到至少一个超分辨率(SR)神经网络中；分开生成权重或偏置或这两者，包括使用LR图像统计数据，并且是沿着所述视频序列按若干个图像的间隔来生成的；并且将所述权重或偏置或这两者按所述间隔提供给所述SR神经网络以用于生成所述HR图像。

根据本公开的另一实施例，提供了一种图像处理的方法，包括：获得初始训练图像；生成模糊训练图像，包括故意模糊所述初始训练图像中的一个或多个；生成低分辨率训练图像或高分辨率训练图像或这两者，并且包括使用所述模糊图像；以及训练超分辨率神经网络来生成高分辨率像素值，包括使用所述低分辨率训练图像或高分辨率训练图像或这两者。

根据本公开的另一实施例，提供了至少一个非暂态物品，具有至少一个计算机可读介质，包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备通过以下步骤来操作：获得初始训练图像；生成模糊训练图像，包括故意模糊所述初始训练图像中的一个或多个；生成低分辨率训练图像或高分辨率训练图像或这两者，并且包括使用所述模糊图像；以及训练超分辨率神经网络来生成高分辨率像素值，包括使用所述低分辨率训练图像或高分辨率训练图像或这两者。

根据本公开的另一实施例，提供了至少一种机器可读介质，包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备执行上述方法。

根据本公开的另一实施例，提供了一种设备，包括用于执行上述方法的装置。

附图说明

在附图中以示例的方式而不是限制的方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，在附图之间重复附图标记以指示出对应的或相似的元素。在附图中：

图1是由传统方法提升的原始LR图像；

图2是通过使用深度反向投影网络来提升的图1的同一图像；

图3是传统超分辨率过程的说明性示意图；

图4是通过使用根据本文的至少一个实现方式的实时超分辨率图像处理来提升的图1的同一图像；

图5是根据本文的至少一个实现方式的实时超分辨率图像处理的运行时方法的流程图；