[发明专利]用于流式内容的实时增强

说明书

本发明涉及用于流式内容的实时增强。可以使用足够轻以在客户端设备上运行的解决方案来提供实时内容增强，甚至对于高分辨率、高比特率内容。增强过程可包括神经网络，其将内容升级到目标分辨率，同时还增强内容的视觉质量，例如以锐化内容的视觉方面并减少伪影的存在。这种方法可以使得压缩内容能够在网络中以流的形式传输，以便节省带宽和数据传输，同时还使得该内容能够在客户端设备处实时升级和增强，使得用户或观看者能够在其预期或原始视觉质量处、附近或之上体验该内容。

背景技术

不断增加的媒体内容量正在经由一个或更多个网络的流式传输来提供。由于诸如带宽约束和数据限制的因素，该内容通常以低于最佳质量被压缩或编码以减小传输的大小。这可导致较低质量的内容被呈现，如可包括降低的分辨率和各种类型的伪影的存在。改善该内容的质量的尝试具有各种限制，或者不能充分地实时改善客户端设备上的流式内容。

附图说明

将参考附图描述根据本公开的各个实施例，在附图中：

图1A、1B、1C和1D示出了根据至少一个实施例的可以生成的图像；

图2A和2B示出了根据至少一个实施例的增强管线以及该管线的伪影去除组件；

图3示出了根据至少一个实施例的用于图像增强的生成模型的组件；

图4A和4B示出了根据至少一个实施例的用于增强网络的密集块配置；

图5示出了根据至少一个实施例的用于增强视频流的过程；

图6示出了根据至少一个实施例的用于生成场景图的系统的组件；

图7A示出了根据至少一个实施例的推理和/或训练逻辑；

图7B示出了根据至少一个实施例的推理和/或训练逻辑；

图8示出了根据至少一个实施例的示例数据中心系统；

图9示出了根据至少一个实施例的计算机系统；

图10示出了根据至少一个实施例的计算机系统；

图11示出了根据一个或更多个实施例的图形处理器的至少部分；

图12示出了根据一个或更多个实施例的图形处理器的至少部分；

图13是根据至少一个实施例的高级计算管线的示例数据流图；

图14是根据至少一个实施例的用于在高级计算管线中训练、适配、实例化和部署机器学习模型的示例系统的系统图；以及

图15A和图15B示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图，以及利用预训练的注释模型来增强注释工具的客户端-服务器架构。

具体实施方式

根据各个实施例的方法可以提供媒体内容的增强。具体地，各个实施例提供了图像和视频内容的升级、伪影去除和视觉质量增强。这种功能可以是足够轻的以在客户端设备上实时执行，例如，具有以现代分辨率、比特率和帧速率增强内容的能力。该内容可包括可通过外部网络接收的流式媒体或其他内容。增强过程可以利用至少两个不同的网络，诸如用于伪影去除的第一网络和用于升级和图像增强的第二网络。此增强过程还可利用两个或更多个不同操作模式，如可适于不同分辨率、比特速率或编码的输入媒体。此过程不需要运动向量、光流数据或其他外部或时间数据来执行准确的升级和增强，甚至对于视频流或图像序列。