[发明专利]用于低码率视频压缩的微量处理

说明书

一种系统包括：基于机器学习(ML)模型的视频编码器，被配置为：接收包括多个视频帧的未压缩视频序列；从该多个视频帧中确定第一视频帧子集和第二视频帧子集；编码该第一视频帧子集以产生第一压缩视频帧子集；和识别用于该第一压缩视频帧子集的第一解压缩数据。该基于ML模型的视频编码器进一步被配置为：编码该第二视频帧子集以产生第二压缩视频帧子集；和识别用于该第二压缩视频帧子集的第二解压缩数据。该第一解压缩数据专用于解码所述第一压缩视频帧子集而专用于该第二压缩视频帧子集，并且该第二解压缩数据专用于解码该第二压缩视频帧子集而不专用于该第一压缩视频帧子集。

相关申请的交叉引用

本申请要求在2021年4月8日提交的标题为“Neural Network Based VideoCodecs”的第63/172,315号临时专利申请以及在2021年10月13号提交的标题为“Microdosing For Low Bitrate Video Compression”第63/255,280号临时专利申请的权益和优先权，其全部内容通过引用并入本申请。

背景技术

视频内容代表总的因特网流量的大部分，并且随着空间分辨率帧率、视频的色深增加以及更多的用户采用流服务，视频内容预期会增加得更多。尽管现有编解码器已经实现了令人印象深刻的性能，但是它们已经被设计到这样的程度，即，进一步添加小的改进不可能满足未来的需求。因此，探索从根本上不同的方式以执行视频编码可能有利地产生具有改进的性能和灵活性的新类别的视频编解码器。

例如，使用训练好的机器学习(ML)模型(例如神经网络(NN))，以例如生成对抗网络(GAN)的形式来执行视频压缩的一个优点在于，它能够使得ML模型推断视觉细节，否则在要获取的数据传输方面将会代价较高。然而，模型尺寸在当前的技术发展水平的提案中仍然是重要的问题，并且现有的解决方案在解码侧需要显著的计算量。也就是说，现有的基于GAN的压缩框架的一个显著缺点是它们通常需要有时在私有数据集上训练的大型解码器模型。因此，将这些模型重新训练到它们的原始的性能通常是不可能的，并且即使当训练数据是可用的时，重新训练模型将是复杂且耗时的。此外，现有大型解码器模型的存储器和推断时间的需求使得它们不太实用，尤其是在视频编码的环境中。

附图说明

图1示出了根据一个实施方式的提供基于机器学习(ML)模型的视频编解码器的示例性系统的图；

图2示出了根据一个实现方式的将神经压缩的现有方法与示例性微量压缩方法进行比较的图；

图3示出了根据一个实施方式的包括大型解码器的现有高性能编解码器；

图4A描绘了根据本发明概念的一个示例性实施方式的使用教师解码器的小型学生解码器的训练；

图4B描绘了根据一个实施方式的适合于在图4A中所示的小型学生解码器中使用的示例性的基于ML模型的解码网络；

图5示出了根据一个实施方式的用于实现知识蒸馏(KD)技术的视频压缩流水线，所述知识蒸馏(KD)技术包括用于低码率视频压缩的微量处理；

图6示出了根据一个实施方式的概述执行用于低码率视频压缩的微量处理的示例性方法的流程图；和

图7示出了根据一个实施方式的描述了用于扩展图6中概述的方法的附加动作的流程图。

具体实施方式

以下描述包含与本公开中的实施方式有关的具体信息。本领域技术人员应当认识到，本公开可能以与本文具体地讨论的不同的方式来实现。本申请中的附图及其详细描述仅针对示例性实施方式。除非另外指出，否则附图中的相同或相应的元件可能由相同或相应的附图标记表示。此外，本申请中的附图和图示通常不是按比例的，并且不旨在对应于实际的相对大小。