[发明专利]视频优化模型的训练方法和电子设备

说明书

本申请属于图像处理领域，提出了一种视频优化模型的训练方法和电子设备，该方法包括：将模糊视频输入到预设的视频优化模型进行对齐处理和去模糊处理，得到输出视频中的第一输出图像；根据标签视频确定光流，根据所述光流对所述第一输出图像进行变换，得到第二输出图像；确定所述第一输出图像和第一标签图像的差异，以及第二输出图像与第二标签图像的差异，根据所述差异调整所述视频优化模型的参数，直到完成所述视频优化模型的训练。通过对齐模块将待优化视频进行对齐处理，将对齐后的图像经由训练好的视频优化模型进行视频优化，可得到去模糊的视频的同时，还可有效的优化时域一致性问题，从而能够有效的提高模糊视频的优化效率。

技术领域

本申请涉及图像处理领域，尤其涉及一种视频优化模型的训练方法和电子设备。

背景技术

随着手机、平板、智慧电视等电子设备性能的提升，以及通信技术的发展，视频业务在电子设备中的应用也越来越广泛。高质量的视频播放效果，有利于用户观看到更为清晰的画面内容，有利于提升用户的观看体验。

在视频采集时，由于相机抖动、目标运动等原因，使得相机相对于物体，相机相对于背景之间出现相对运动而产生运动模糊；或者，由于相机景深变化，使得相机聚焦位置发生变化而出现运动模糊。或者，在拍摄过程中，还可能因受到拍摄因素、后期剪辑因素或转码因素的影响，视频存在时域一致性缺陷。

为了提升视频播放质量，通常需要对视频进行去模糊和时域一致性处理。但是，目前的视频增强处理方式中，通常根据时域一致性问题的因素进行时域一致性处理，不能在解决时域一致性问题的同时处理运动模糊问题，不利于提高视频优化效率。

发明内容

本申请实施例公开了一种视频优化模型的训练方法和电子设备，以解决目前对视频图像进行优化处理时，不能同时处理时域一致性问题和运动模糊问题，不利于提高视频优化效率的问题。

为了解决该技术问题，本申请公开了以下技术方案：

第一方面，本申请实施例提出了一种视频优化模型的训练方法，该方法包括：电子设备获取样本视频，将样本视频包括的模糊视频通过视频优化模型进行对齐处理，将对齐后的特征图像输入到视频优化模型中的去模糊网络模型，得到输出视频的第一输出图像，根据标签视频确定光流，根据所确定的光流对第一输出图像进行变换，得到与第一输出图像相邻的第二输出图像，根据第一输出图像与第一标签图像的差异，以及第二输出图像与第二标签图像的差异，对视频优化模型的参数进行调整，直到调整参数后计算的差异满足预设的要求，完成所述视频优化模型的训练。

其中，第一标签图像和第二标签图像为样本视频包括的标签视频中的图像。第一标签图像与第一输出图像的内容关联，第二标签图像与第二输出图像的内容关联。标签图像和输出图像的内容关联，可以理解为标签图像和输出图像的内容相同，或者标签图像和输出图像根据同一个模糊图像通过变换得到。

模糊视频中的图像，包括清晰度低于预设的清晰度要求，且存在时域一致性问题的图像。标签视频中的图像，为清晰度高于预设的清晰度要求，且不存在时域一致性问题的图像。

电子设备根据视频优化模型生成第一输出图像后，根据标签视频所确定的光流，对第一输出图像进行时域上的变换，得到与第一输出图像相邻的第二输出图像。由于第二输出图像由标准的标签视频所确定的光流对第一输出图像变换得到，因此，第二输出图像中包括的时域特征与第一输出图像一致，通过将其与时间位置相同的第二标签图像进行比较确定第二差异，可以有效的反应视频优化模型的输出视频中的时域一致性。通过第一输出图像与第一标签图像的比较确定第一差异，可以反应视频优化模型的输出视频中的画质问题。根据所确定的第一差异和第二差异，对视频优化模型的参数进行优化调整，直到调整参数后的视频优化模型所计算的差异满足预设的收敛要求，从而完成模型的训练。由于训练过程不必限定引起时域一致性问题的原因，因而使得所训练后的视频优化模型，可以适应不同原因产生的时域一致性问题的视频的优化处理。