[发明专利]用于生成画质提升模型的方法、装置及计算机程序产品

权利要求书

1.一种用于生成画质提升模型的方法，包括：

获取训练样本集，其中，所述训练样本集中的训练样本包括样本帧图像和标签帧图像；

利用机器学习方法，以样本帧图像为输入，以所输入的样本帧图像对应的标签帧图像为期望输出，训练得到去噪网络；

利用机器学习方法，以样本帧图像为输入，以所输入的样本帧图像对应的标签帧图像为第一滤波图像的期望图像，训练得到增强网络，其中，所述第一滤波图像由初始增强网络输出的图像经过低通滤波得到；

根据所述去噪网络和所述增强网络，得到所述画质提升模型，包括：

利用机器学习方法，以样本帧图像为所述去噪网络的输入，将所述去噪网络输出的图像作为所述增强网络的输入，以所输入的样本帧图像对应的标签帧图像为第二滤波图像的期望图像，根据表征所输入的样本帧图像对应的标签帧图像和所述第二滤波图像之间的像素级差异的第五损失，以及结构差异的第六损失，更新所述去噪网络和所述增强网络，其中，所述第二滤波图像由所述增强网络输出的图像经过低通滤波得到；组合更新后的所述去噪网络和所述增强网络，得到所述画质提升模型。

2.根据权利要求1所述的方法，其中，所述利用机器学习方法，以样本帧图像为输入，以所输入的样本帧图像对应的标签帧图像为期望输出，训练得到去噪网络，包括：

执行如下第一训练操作，直至得到所述去噪网络：

以所述训练样本集中的样本帧图像为初始去噪网络的输入，以所输入的样本帧图像对应的标签帧图像为期望输出，得到去噪图像；

根据所输入的样本帧图像对应的标签帧图像和所述去噪图像，得到表征所输入的样本帧图像对应的标签帧图像和所述去噪图像之间的像素级差异的第一损失，以及结构差异的第二损失；

根据所述第一损失和所述第二损失，更新所述初始去噪网络。

3.根据权利要求1所述的方法，其中，所述利用机器学习方法，以样本帧图像为输入，以所输入的样本帧图像对应的标签帧图像为第一滤波图像的期望图像，训练得到增强网络，包括：

执行如下第二训练操作，直至得到所述增强网络：

以所述训练样本集中的样本帧图像为初始增强网络的输入，得到第一输出图像；

对所述第一输出图像进行低通滤波，得到第一滤波图像；

根据所输入的样本帧图像对应的标签帧图像和所述第一滤波图像，得到表征所输入的样本帧图像对应的标签帧图像和所述第一滤波图像之间的像素级差异的第三损失，以及结构差异的第四损失；

根据所述第三损失和所述第四损失，更新所述初始增强网络。

4.根据权利要求1所述的方法，其中，所述利用机器学习方法，以样本帧图像为所述去噪网络的输入，将所述去噪网络输出的图像作为所述增强网络的输入，以所输入的样本帧图像对应的标签帧图像为第二滤波图像的期望图像，更新所述去噪网络和所述增强网络，包括：

执行如下更新操作：

以所述训练样本集中的样本帧图像为所述去噪网络的输入，将所述去噪网络输出的图像作为所述增强网络的输入，得到第二输出图像；

对所述第二输出图像进行低通滤波，得到第二滤波图像；

根据所输入的样本帧图像对应的标签帧图像和所述第二滤波图像，得到表征所输入的样本帧图像对应的标签帧图像和所述第二滤波图像之间的像素级差异的第五损失，以及结构差异的第六损失；

根据所述第五损失和所述第六损失，更新所述去噪网络和所述增强网络。

5.根据权利要求1-4中任一项所述的方法，其中，所述获取训练样本集，包括：

从无损编码的视频中采样得到无损图像集；

基于预设压缩比压缩所述视频，得到压缩视频；

从所述压缩视频中采样得到压缩图像集，其中，所述压缩图像集中的压缩图像与所述无损图像集中的无损图像一一对应；

将所述压缩图像集与所述无损图像集中一一对应的图像组成图像对，并筛选出峰值信噪比低于预设阈值的图像对；

以筛选出的图像对中的无损图像为标签帧图像，以压缩图像为样本帧图像，得到所述训练样本集。