[发明专利]基于误差调制的社交媒体视频质量复原处理方法及系统

说明书

本发明公开了基于误差调制的社交媒体视频质量复原处理方法及系统，所述方法包括：首先通过退化视频估计一个下采样视频，利用这个下采样视频和退化视频计算得到一个误差图，这个误差图表达的信息是视频的哪些区域是比较难复原的。同时利用卷积神经网络处理估计的误差图，利用得到的特征对端到端的复原网络进行调制，使所述调制后的复原网络对更难复原的区域重点复原，最后将退化视频进行复原得到高质量的复原视频。本发明通过估计误差，以及根据估计误差对端到端的视频复原网络进行调制的方法，获得了更低的复原误差。复原效果好，复原误差对比低，而且在越难复原的区域，本发明方法的复原提升越大，提高了视频复原整体清晰度。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种基于误差调制的社交媒体视频质量复原处理方法及系统。

背景技术

随着移动网络的快速发展，越来越多用户习惯于在社交媒体平台与好友分享经历或见闻等。每天都会有成千上万的视频在网络上进行传播。许多社交媒体公司为了节省带宽，常常会对用户发送的视频进行一系列的退化处理，使得视频文件的大小变小，同时也会使视频的质量变得更差；常用的手段是下采样和压缩等。于是，需要针对用户在社交媒体上传播的视频进行质量的复原和增强。

现有技术中，图像视频增强技术是高度相关的。例如许多基于深度神经网络的分辨率增强方法被提出来，还有针对视频的方法，但是现有技术的这些图像视频增强方法都是基于单一的退化模型的，例如仅仅有分辨率下降的退化。而在社交媒体中传播的视频的退化模型往往更加复杂，这些方法明显不适用。造成现有技术的图像视频增强方法视觉复原效果不理想，复原误差对比高，视频复原整体清晰度也不佳。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于误差调制的社交媒体视频质量复原处理方法、系统、终端及计算机可读存储介质，旨在解决现有技术的图像视频增强方法视觉复原效果不理想，复原误差对比高，视频复原整体清晰度也不佳的问题。

为实现上述目的，本发明第一方面提供一种基于误差调制的社交媒体视频质量复原处理方法，其中，上述方法包括：

获取需要复原的媒体视频，为退化视频；

基于所述退化视频的相邻帧，预估出所述退化视频在退化处理之前的下采样视频；

基于预估的下采样视频和所述退化视频计算得到一估计的误差图，其中，所述误差图表达的信息为视频帧的哪些区域是比较难复原的；

利用卷积神经网络处理估计的误差图，利用得到的误差特征对端到端的复原网络进行调制，控制复原网络对更难复原的视频帧区域进行重点复原；

根据调制后的复原网络，将所述退化视频进行复原，并输出复原后的视频。

可选的，上述基于所述退化视频的相邻帧，预估出所述退化视频在退化处理之前的下采样视频的步骤包括：

设高质量的视频y，先经过下采样得到低分辨率的下采样视频z，最后再被压缩成最终的退化视频x；

根据预先设置的估计模型，获取退化视频x中的中间帧x_t与相邻帧x_t-2和x_t+2，并估计得到预估的下采样视频的中间帧

基于所述预估的下采样视频的中间帧合并得到下采样视频

可选的，上述根据预先设置的估计模型，获取退化视频x中的中间帧x_t与相邻帧x_t-2和x_t+2，并估计得到预估的下采样视频的中间帧的步骤包括：