[发明专利]用于神经图像压缩的任务自适应预处理的方法和设备

权利要求书

1.一种用于神经图像压缩的任务自适应预处理(TAPP)的方法，所述方法由至少一个处理器执行，并且所述方法包括：

使用TAPP神经网络基于输入图像生成替代图像；以及

使用第一神经网络对所生成的替代图像进行编码以生成压缩表示，

其中，通过以下操作来训练所述TAPP神经网络：

使用所述TAPP神经网络基于输入训练图像生成替代训练图像；

使用所述第一神经网络对所生成的替代训练图像进行编码以生成压缩训练表示；

使用第二神经网络对所生成的压缩训练表示进行解码以重建输出训练图像；

生成基于所述输入训练图像、所重建的输出训练图像和所生成的压缩训练表示生成的率失真(R-D)损失的梯度；以及

基于所生成的R-D损失的梯度更新所生成的替代训练图像。

2.根据权利要求1所述的方法，还包括使用所述第二神经网络对所述生成的压缩表示进行解码以重建输出图像。

3.根据权利要求1所述的方法，其中，生成所述替代图像包括：

使用所述TAPP神经网络基于所述输入图像生成替代扰动；以及

生成作为所述输入图像和所生成的替代扰动之和的所述替代图像。

4.根据权利要求1所述的方法，其中，通过基于超参数、作为所述输入训练图像与所重建的输出训练图像之间的重建误差的失真损失以及作为所生成的压缩训练表示的比特消耗的率损失生成所述R-D损失来进一步训练所述TAPP神经网络。

5.根据权利要求1所述的方法，其中，生成所述R-D损失的梯度并且更新所生成的替代训练图像，直到执行了最大次数的迭代或直到所述R-D损失收敛为止。

6.根据权利要求1所述的方法，其中，通过基于所生成的所述R-D损失的梯度更新所述输入训练图像来进一步训练所述TAPP神经网络，并且

生成所述R-D损失的梯度并且更新所述输入训练图像，直到执行了最大次数的迭代或直到所述R-D损失收敛为止。

7.根据权利要求1所述的方法，其中，通过以下操作来进一步训练所述TAPP神经网络：

生成作为真实替代图像与所生成的替代训练图像之间的差异的替代失真；

生成所生成的替代失真的梯度；以及

基于所生成的替代失真的所生成的梯度更新所述TAPP神经网络的参数。

8.一种用于神经图像压缩的任务自适应预处理(TAPP)的设备，所述设备包括：

至少一个存储器，所述至少一个存储器被配置成存储程序代码；以及

至少一个处理器，所述至少一个处理器被配置成读取所述程序代码并且如所述程序代码指示的进行操作，所述程序代码包括：

生成代码，所述生成代码被配置成使所述至少一个处理器使用TAPP神经网络基于输入图像生成替代图像；以及

编码代码，所述编码代码被配置成使所述至少一个处理器使用第一神经网络对所生成的替代图像进行编码以生成压缩表示，

其中，通过以下操作来训练所述TAPP神经网络：

使用所述TAPP神经网络基于输入训练图像生成替代训练图像；

使用所述第一神经网络对所生成的替代训练图像进行编码以生成压缩训练表示；

使用第二神经网络对所生成的压缩训练表示进行解码以重建输出训练图像；

生成基于所述输入训练图像、所重建的输出训练图像和所生成的压缩训练表示生成的率失真(R-D)损失的梯度；以及

基于所生成的所述R-D损失的梯度更新所生成的替代训练图像。

9.根据权利要求8所述的设备，其中，所述程序代码还包括解码代码，所述解码代码被配置成使所述至少一个处理器使用所述第二神经网络对所生成的压缩表示进行解码以重建输出图像。