[发明专利]用于流式内容的实时增强

权利要求书

1.一种计算机实现的方法，包括：

接收第一分辨率的输入视频流；

将所述输入视频流的视频帧作为输入提供给图像增强网络，所述图像增强网络被训练用于将所述帧升级至第二分辨率；

从所述图像增强网络接收所述第二分辨率的增强视频帧；以及

与接收所述输入视频流同时，提供所述增强视频帧以作为所述第二分辨率的输出视频流的一部分来呈现。

2.根据权利要求1所述的计算机实现的方法，其中所述图像增强网络被进一步训练以减少所述视频帧中一种或更多种类型的图像伪影的存在。

3.根据权利要求2所述的计算机实现的方法，其中所述图像增强网络被训练以减少块状、摩尔纹、光晕、色差或噪声中的至少一个的存在。

4.根据权利要求1所述的计算机实现的方法，其中所述图像增强网络是使用一组增强训练图像训练的生成对抗网络GAN。

5.根据权利要求5所述的计算机实现的方法，还包括：

在训练期间从所述GAN移除一个或更多个中间层以提高性能速度而不降低图像质量。

6.根据权利要求1所述的计算机实现的方法，其中所述图像增强网络被优化以在单个图形处理单元GPU上实时运行。

7.根据权利要求1所述的计算机实现的方法，还包括：

在所述图像增强网络的一个或更多个中间层处缩减所述视频帧。

8.根据权利要求1所述的计算机实现的方法，还包括：

使用包括鉴别器损失项、特征损失项或真值损失项中的至少一者的损失函数来训练所述图像增强网络。

9.根据权利要求1所述的计算机实现的方法，还包括：

由客户端设备接收所述输入视频流；以及

提供所述增强视频帧以供所述客户端设备作为所述输出视频流的一部分来呈现。

10.一种系统，包括：

至少一个处理器；以及

存储器，其包括指令，所述指令在由所述至少一个处理器执行时使所述系统：

接收第一分辨率的图像序列；

将所述图像序列中的图像作为输入提供给图像增强网络，所述图像增强网络被训练用于将所述图像升级到第二分辨率；

从所述图像增强网络接收所述第二分辨率的增强图像；以及

与接收所述图像序列同时，提供增强图像以作为第二分辨率的增强图像序列的一部分来呈现。

11.根据权利要求10所述的系统，其中所述图像增强网络被进一步训练以减少所述图像中一种或更多种类型的图像伪影的存在。

12.根据权利要求11所述的系统，其中所述图像增强网络被训练以减少块状、摩尔纹、光晕、色差或噪声中的至少一个的存在。

13.根据权利要求10所述的系统，其中所述图像增强网络是使用一组增强训练图像训练的生成对抗网络GAN。

14.根据权利要求10所述的系统，其中所述指令在被执行时进一步使所述系统：

在训练期间从所述GAN移除一个或更多个中间层以提高性能速度而不降低图像质量。

15.根据权利要求10所述的系统，其中所述系统包括以下中的至少一个：

用于执行图形渲染操作的系统；

用于执行模拟操作的系统；

用于执行模拟操作以测试或验证自主机器应用的系统；

用于执行深度学习操作的系统；

使用边缘设备实现的系统；

合并一个或更多个虚拟机VM的系统；

至少部分地在数据中心中实现的系统；或

至少部分地使用云计算资源实现的系统。