[发明专利]视频增强模型的训练方法及装置、视频增强方法及装置

权利要求书

1.一种视频增强模型的训练方法，其特征在于，所述视频增强模型包括辅助监督注意力层，所述训练方法包括：

获取训练样本，其中，所述训练样本包括训练视频、所述训练视频对应的原始未压缩视频和所述原始未压缩视频第一次编码后的初始编码视频；

将所述训练视频输入到所述视频增强模型，得到第一预估增强视频和第二预估增强视频，其中，所述第一预估增强视频是由所述视频增强模型输出的增强到所述原始未压缩视频的质量的预估增强视频，所述第二预估增强视频是由所述视频增强模型中的辅助监督注意力层输出的增强到所述初始编码视频的质量的预估增强视频；

基于所述原始未压缩视频、所述初始编码视频、所述第一预估增强视频和所述第二预估增强视频确定损失；

基于所述损失调整所述视频增强模型的参数，对所述视频增强模型进行训练。

2.如权利要求1所述的训练方法，其特征在于，所述将所述训练视频输入到所述视频增强模型，得到第一预估增强视频和第二预估增强视频，包括：

针对所述训练视频的每个图像帧，将当前图像帧和与所述当前图像帧相邻的预定个数的图像帧输入到所述视频增强模型，得到所述当前图像帧的第一预估增强图像和第二预估增强图像；

基于所述训练视频的所有图像帧的第一预估增强图像，得到所述第一预估增强视频；

基于所述训练视频的所有图像帧的第二预估增强图像，得到所述第二预估增强视频。

3.如权利要求2所述的训练方法，其特征在于，所述视频增强模型还包括对齐层、融合层和全局监督重建层，

所述将当前图像帧和与所述当前图像帧相邻的预定个数的图像帧输入到所述视频增强模型，得到所述当前图像帧的第一预估增强图像和第二预估增强图像，包括：

将所述当前图像帧和与所述当前图像帧相邻的预定个数的图像帧输入到所述对齐层，得到预估第一特征，其中，所述预估第一特征是所述当前图像帧和与所述当前图像帧相邻的预定个数的图像帧经过对齐处理后的特征；

将所述预估第一特征输入到所述融合层，得到预估第二特征，其中，所述预估第二特征是所述预估第一特征中每个图像帧的特征经过融合处理后的特征；

将所述预估第二特征输入到所述辅助监督注意力层，得到预估第三特征和所述第二预估增强图像，其中，所述预估第三特征是所述预估第二特征基于所述第二预估增强图像进行优化后的特征；

将所述预估第三特征输入到所述全局监督重建层，得到所述第一预估增强图像。

4.如权利要求3所述的训练方法，其特征在于，所述将所述预估第二特征输入到所述辅助监督注意力层，得到预估第三特征和所述第二预估增强图像，包括：

将所述预估第二特征输入到所述辅助监督注意力层中的混合空洞重建算子，得到预估高频特征，所述预估高频特征是基于所述预估第二特征中边缘纹理信息得到的；

基于所述预估高频特征和所述当前图像帧，得到所述第二预估增强图像；

将所述预估第二特征和所述第二预估增强图像分别输入到所述辅助监督注意力层中的卷积层，得到卷积处理后的预估第二特征和卷积处理后的第二预估增强图像；

基于卷积处理后的预估第二特征和卷积处理后的第二预估增强图像，得到所述预估第三特征。

5.一种视频增强方法，其特征在于，包括：

获取待处理视频；

将所述待处理视频输入到视频增强模型，得到第一增强视频，所述第一增强视频是由所述视频增强模型输出的增强到所述待处理视频对应的原始未压缩视频的质量的增强视频；

其中，所述视频增强模型是基于第一预估增强视频和第二预估增强视频训练得到的，所述第一预估增强视频是所述视频增强模型接收到训练视频后，输出的增强到所述原始未压缩视频的质量的预估增强视频，所述第二预估增强视频是所述视频增强模型接收到训练视频后，所述视频增强模型中的辅助监督注意力层输出的增强到初始编码视频的质量的预估增强视频，所述初始编码视频是所述原始未压缩视频第一次编码后的视频。