[发明专利]视频增强模型的训练方法及装置、视频增强方法及装置

说明书

本公开关于一种视频增强模型的训练方法及装置、视频增强方法及装置。视频增强模型的训练方法包括：获取训练样本，其中，训练样本包括训练视频、训练视频对应的原始未压缩视频和原始未压缩视频第一次编码后的初始编码视频；将训练视频输入到视频增强模型，得到第一预估增强视频和第二预估增强视频，其中，第一预估增强视频是由视频增强模型输出的增强到原始未压缩视频的质量的预估增强视频，第二预估增强视频是由视频增强模型中的辅助监督注意力层输出的增强到初始编码视频的质量的预估增强视频；基于原始未压缩视频、初始编码视频、第一预估增强视频和第二预估增强视频确定损失；基于损失调整视频增强模型的参数，对视频增强模型进行训练。

技术领域

本公开涉及视频处理领域，尤其涉及一种视频增强模型的训练方法及装置、视频增强方法及装置。

背景技术

目前的视频增强模型均是对单次压缩编码后的失真视频进行去伪影修复，但是实际生活中所接触到的视频大部分都是经过多次转码压缩后的，其画面内容存在着多次压缩失真叠加的伪影。当将目前的视频增强模型应用在实际转码压缩视频上时增强效果大打折扣，泛化能力差，说明其并不适用于转码压缩后的失真视频。

发明内容

本公开提供一种视频增强模型的训练方法及装置、视频增强方法及装置，以至少解决相关技术中的模型针对增强转码压缩后的视频时增强效果不好的问题。

根据本公开实施例的第一方面，提供一种视频增强模型的训练方法，视频增强模型包括辅助监督注意力层，训练方法包括：获取训练样本，其中，训练样本包括训练视频、训练视频对应的原始未压缩视频和原始未压缩视频第一次编码后的初始编码视频；将训练视频输入到视频增强模型，得到第一预估增强视频和第二预估增强视频，其中，第一预估增强视频是由视频增强模型输出的增强到原始未压缩视频的质量的预估增强视频，第二预估增强视频是由视频增强模型中的辅助监督注意力层输出的增强到初始编码视频的质量的预估增强视频；基于原始未压缩视频、初始编码视频、第一预估增强视频和第二预估增强视频确定损失；基于损失调整视频增强模型的参数，对视频增强模型进行训练。

可选地，将训练视频输入到视频增强模型，得到第一预估增强视频和第二预估增强视频，包括：针对训练视频的每个图像帧，将当前图像帧和与当前图像帧相邻的预定个数的图像帧输入到视频增强模型，得到当前图像帧的第一预估增强图像和第二预估增强图像；基于训练视频的所有图像帧的第一预估增强图像，得到第一预估增强视频；基于训练视频的所有图像帧的第二预估增强图像，得到第二预估增强视频。

可选地，视频增强模型还包括对齐层、融合层和全局监督重建层，将当前图像帧和与当前图像帧相邻的预定个数的图像帧输入到视频增强模型，得到当前图像帧的第一预估增强图像和第二预估增强图像，包括：将当前图像帧和与当前图像帧相邻的预定个数的图像帧输入到对齐层，得到预估第一特征，其中，预估第一特征是当前图像帧和与当前图像帧相邻的预定个数的图像帧经过对齐处理后的特征；将预估第一特征输入到融合层，得到预估第二特征，其中，预估第二特征是预估第一特征中每个图像帧的特征经过融合处理后的特征；将预估第二特征输入到辅助监督注意力层，得到预估第三特征和第二预估增强图像，其中，预估第三特征是预估第二特征基于第二预估增强图像进行优化后的特征；将预估第三特征输入到全局监督重建层，得到第一预估增强图像。

可选地，将预估第二特征输入到辅助监督注意力层，得到预估第三特征和第二预估增强图像，包括：将预估第二特征输入到辅助监督注意力层中的混合空洞重建算子，得到预估高频特征，预估高频特征是基于预估第二特征中边缘纹理信息得到的；基于预估高频特征和当前图像帧，得到第二预估增强图像；将预估第二特征和第二预估增强图像分别输入到辅助监督注意力层中的卷积层，得到卷积处理后的预估第二特征和卷积处理后的第二预估增强图像；基于卷积处理后的预估第二特征和卷积处理后的第二预估增强图像，得到预估第三特征。