[发明专利]基于机器学习模型的视频压缩

说明书

系统处理硬件执行基于机器学习(ML)模型的视频压缩编码器，以接收未压缩视频内容和对应的运动补偿视频内容，比较未压缩和运动补偿视频内容以标识图像空间残差，将图像空间残差变换为未压缩视频内容的潜在空间表示，以及使用经训练的图像压缩ML模型将运动补偿视频内容变换为运动补偿视频内容的潜在空间表示。基于ML模型的视频压缩编码器进一步编码图像空间残差的潜在空间表示以产生编码潜在残差，使用经训练的图像压缩ML模型编码运动补偿视频内容的潜在空间表示以产生编码潜在视频内容，并且使用编码潜在残差和编码潜在视频内容产生对应于未压缩视频内容的压缩视频内容。

相关申请的交叉引用

本申请要求于2021年4月8日提交的标题为“基于神经网络的视频编解码器”的美国临时专利申请序列号63/172,315和于2021年10月13日提交的标题为“用于低比特率视频压缩的微剂量给药”的美国临时专利申请序列号63/255,280的权益和优先权，在此通过引用将上述两个临时申请的全部内容并入本申请中。

背景技术

视频内容代表了总互联网流量的大部分，并且随着空间分辨率帧速率和视频颜色深度的增加以及更多用户采用流媒体服务，预计视频内容还会增加甚至更多。虽然现有编解码器已经实现了令人印象深刻的性能，但是它们已经被设计到添加进一步的小改进不可能满足未来需求的程度。因此，探索从根本上不同的方式来执行视频编码可有利地产生具有改进的性能和灵活性的新型视频编解码器。

例如，使用例如以生成对抗性网络(GAN)形式的经训练的机器学习(ML)模型(诸如神经网络(NN))来执行视频压缩的一个优点在于，它使得ML模型能够推断出视觉细节，而在数据传输方面获得这些视觉细节是昂贵的。然而，训练ML模型(诸如GAN)通常是具有挑战性的，因为训练在最小化步骤和最大化步骤之间交替进行，以收敛到损失函数的鞍点。当考虑到时间域和其引入的增加的复杂性时，任务变得更具挑战性。

附图说明

图1示出了根据一个实现的用于执行基于机器学习(ML)模型的视频压缩的示例性系统的图；

图2A示出了根据一个实现的示例性的基于ML模型的视频编解码器架构的图；

图2B示出了根据另一实现的示例性的基于ML模型的视频编解码器架构的图；

图2C示出了根据又一实现的示例性的基于ML模型的视频编解码器架构的图；

图3示出了概述根据一个实现的用于执行基于ML模型的视频压缩的示例性方法的流程图；和

图4示出了概述根据另一实现的用于执行基于ML模型的视频压缩的示例性方法的流程图。

具体实施方式

以下描述包含与本公开中的实现有关的具体信息。本领域技术人员将认识到，本公开可以以不同与本文具体讨论的方式来实现。本申请中的附图及其伴随的详细描述仅针对示例性实现。除非另外说明，否则附图中相同或对应的要素可以由相同或对应的附图标记来指示。此外，本申请中的附图和图示通常不按比例绘制，并且不旨在对应于实际的相对尺寸。

如上所述，视频内容代表了总互联网流量的大部分，并且随着空间分辨率帧速率和视频颜色深度的增加以及更多用户采用流媒体服务，预计视频内容还会增加甚至更多。虽然现有编解码器已经实现了令人印象深刻的性能，但是它们已经被设计到添加进一步的小改进不可能满足未来需求的程度。因此，探索从根本上不同的方式来执行视频编码可有利地产生具有改进的性能和灵活性的新型视频编解码器。

例如，并且如上文进一步所述，使用例如以生成对抗性网络(GAN)形式的经训练的机器学习(ML)模型(诸如神经网络(NN))来执行视频压缩的一个优点在于，它使得ML模型能够推断出视觉细节，否则在数据传输方面获得这些视觉细节是昂贵的。然而，训练ML模型(诸如GAN)通常是具有挑战性的，因为训练在最小化步骤和最大化步骤之间交替进行，以收敛到损失函数的鞍点。当考虑到时间域和仅仅因为数据增加而引入的增加的复杂性时，任务变得更具挑战性。