[发明专利]用于神经图像压缩的任务自适应预处理的方法和设备

说明书

用于神经图像压缩的任务自适应预处理(TAPP)的方法由至少一个处理器执行，并且该方法包括：使用TAPP神经网络基于输入图像生成替代图像，以及使用第一神经网络对所生成的替代图像进行编码以生成压缩表示。通过以下操作来训练TAPP神经网络：使用TAPP神经网络基于输入训练图像生成替代训练图像；使用第一神经网络对所生成的替代训练图像进行编码以生成压缩训练表示；使用第二神经网络对所生成的压缩训练表示进行解码以重建输出训练图像；生成基于输入训练图像、重建的输出训练图像和生成的压缩训练表示生成的率失真(R‑D)损失的梯度；以及基于所生成的R‑D损失的梯度更新生成的替代训练图像。

相关申请的交叉引用

本申请要求基于2021年1月19日提交的美国临时申请第63/138,901号和2021年7月1日提交的美国申请第17/365,395号的优先权，上述申请通过引用整体并入本文。

背景技术

ISO(International Organization for Standardization，ISO)/IEC(International Electrotechnical Commission，IEC)MPEG(Moving Picture ExpertsGroup，MPEG)(JTC 1/SC 29/WG 11)一直在积极寻找对未来视频编码技术标准化的潜在需求。ISO/IEC JPEG建立了JPEG(Joint Photographic Experts Group，JPEG)-AI(Artificial Intelligence，AI)组，该JPEG-AI组专注于使用神经网络(Neural Network，NN)的基于AI的端到端神经图像压缩(Neural Image Compression，NIC)。最新方法的成功带来对先进的神经图像和视频压缩方法的越来越多的工业兴趣。

尽管现有技术已经显示出有前景的性能，但是NIC方法的一个主要问题是训练后控制的困难。例如，灵活的比特率控制具有挑战性，这是因为传统的NIC方法可能需要针对每个所期望的率失真(Rate-Distortion，R-D)权衡单独训练多个模型实例。类似地，对于每个目标质量损失(例如峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)或结构相似性指数测量(Structural Similarity Index Measure，SSIM))，单独训练模型实例。一旦针对目标任务(例如，针对目标比特率或目标质量损失)进行训练，模型实例就不能用于其他任务(例如，其他比特率或其他质量损失)。

发明内容

根据实施方式，一种用于神经图像压缩的任务自适应预处理(TAPP)的方法由至少一个处理器执行，并且该方法包括：使用TAPP神经网络基于输入图像生成替代图像；以及使用第一神经网络对所生成的替代图像进行编码以生成压缩表示。通过以下操作来训练TAPP神经网络：使用TAPP神经网络基于输入训练图像生成替代训练图像；使用第一神经网络对所生成的替代训练图像进行编码以生成压缩训练表示；使用第二神经网络对所生成的压缩训练表示进行解码以重建输出训练图像；生成基于输入训练图像、重建的输出训练图像和生成的压缩训练表示生成的率失真(R-D)损失的梯度；以及基于所生成的R-D损失的梯度更新生成的替代训练图像。

根据实施方式，一种用于神经图像压缩的任务自适应预处理(TAPP)的设备包括：至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及至少一个处理器，所述至少一个处理器被配置成读取程序代码并且如程序代码指示的进行操作。该程序代码包括：生成代码，该生成代码被配置成使至少一个处理器使用TAPP神经网络基于输入图像生成替代图像；以及编码代码，该编码代码被配置成使至少一个处理器使用第一神经网络对所生成的替代图像进行编码以生成压缩表示。通过以下操作来训练TAPP神经网络：使用TAPP神经网络基于输入训练图像生成替代训练图像；使用第一神经网络对所生成的替代训练图像进行编码以生成压缩训练表示；使用第二神经网络对所生成的压缩训练表示进行解码以重建输出训练图像；生成基于输入训练图像、重建的输出训练图像和生成的压缩训练表示生成的率失真(R-D)损失的梯度；以及基于所生成的R-D损失的梯度更新生成的替代训练图像。