[发明专利]基于机器学习模型的视频压缩

权利要求书

1.一种系统，包括：

计算平台，所述计算平台包括处理硬件和系统存储器，所述系统存储器存储基于机器学习(ML)模型的视频压缩编码器和经训练的图像压缩ML模型；

所述处理硬件被配置为执行基于ML模型的视频压缩编码器，以：

接收未压缩视频内容和与所述未压缩视频内容对应的运动补偿视频内容；

将所述未压缩视频内容与所述运动补偿视频内容进行比较，以标识与所述未压缩视频内容对应的图像空间残差；

将所述图像空间残差变换成所述图像空间残差的潜在空间表示；

使用所述经训练的图像压缩ML模型接收所述运动补偿视频内容；

使用所述经训练的图像压缩ML模型将所述运动补偿视频内容变换成所述运动补偿视频内容的潜在空间表示；

对所述图像空间残差的潜在空间表示进行编码以产生编码潜在残差；

使用所述经训练的图像压缩ML模型对所述运动补偿视频内容的潜在空间表示进行编码以产生编码潜在视频内容；和

使用所述编码潜在残差和所述编码潜在视频内容生成对应于所述未压缩视频内容的压缩视频内容。

2.根据权利要求1所述的系统，其中，所述编码潜在残差和所述编码潜在视频内容是并行产生的。

3.根据权利要求1所述的系统，其中，所述处理硬件被配置为执行所述基于ML模型的视频压缩编码器，以基于所述编码潜在残差与所述编码潜在视频内容的差异来生成对应于所述未压缩视频内容的所述压缩视频内容。

4.根据权利要求1所述的系统，其中，所述经训练的图像压缩ML模型包括经训练的人工神经网络(NN)。

5.根据权利要求4所述的系统，其中，所述经训练的NN是使用包括对抗性损失的目标函数来训练的。

6.根据权利要求4所述的系统，其中，所述经训练的NN包括生成对抗性网络(GAN)。

7.一种由包括计算平台的系统使用的方法，所述计算平台具有处理硬件和系统存储器，所述系统存储器存储基于机器学习(ML)模型的视频压缩编码器和经训练的图像压缩ML模型，所述方法包括：

通过由所述处理硬件执行的基于ML模型的视频压缩编码器接收未压缩视频内容和与未压缩视频内容对应的运动补偿视频内容；

通过由所述处理硬件执行的基于ML模型的视频压缩编码器将所述未压缩视频内容与所述运动补偿视频内容进行比较，从而标识与所述未压缩视频内容对应的图像空间残差；

通过由所述处理硬件执行的基于ML模型的视频压缩编码器将所述图像空间残差变换成所述图像空间残差的潜在空间表示；

通过由所述处理硬件执行的经训练的图像压缩ML模型接收所述运动补偿视频内容；

通过由所述处理硬件执行的经训练的图像压缩ML模型将所述运动补偿视频内容变换成所述运动补偿视频内容的潜在空间表示；

通过由所述处理硬件执行的基于ML模型的视频压缩编码器编码所述图像空间残差的潜在空间表示以产生编码潜在残差；

通过由所述处理硬件执行的经训练的图像压缩ML模型来编码所述运动补偿视频内容的潜在空间表示以产生编码视频内容；和

通过由所述处理硬件执行的基于ML模型的视频压缩编码器并使用编码潜在残差和编码潜在视频内容生成与所述未压缩视频内容对应的压缩视频内容。

8.根据权利要求7所述的方法，其中，所述编码潜在残差和所述编码潜在视频内容是并行产生的。

9.根据权利要求7所述的方法，其中，基于所述编码潜在残差与所述编码潜在视频内容之间的差异，生成与所述未压缩视频内容对应的所述压缩视频内容。

10.根据权利要求7所述的方法，其中所述经训练的图像压缩ML模型包括经训练的人工神经网络(NN)。

11.根据权利要求10所述的方法，其中，所述经训练的NN是使用包括对抗性损失的目标函数来训练的。