[发明专利]基于误差调制的社交媒体视频质量复原处理方法及系统

权利要求书

1.一种基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述基于误差调制的社交媒体视频质量复原处理方法包括：

获取需要复原的媒体视频，为退化视频；

基于所述退化视频的相邻帧，预估出所述退化视频在退化处理之前的下采样视频；

基于预估的下采样视频和所述退化视频计算得到一估计的误差图，其中，所述误差图表达的信息为视频帧的哪些区域是比较难复原的；

利用卷积神经网络处理估计的误差图，利用得到的误差特征对端到端的复原网络进行调制，控制复原网络对更难复原的视频帧区域进行重点复原；

根据调制后的复原网络，将所述退化视频进行复原，并输出复原后的视频。

2.根据权利要求1所述的基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述基于所述退化视频的相邻帧，预估出所述退化视频在退化处理之前的下采样视频的步骤包括：

设高质量的视频y，先经过下采样得到低分辨率的下采样视频z，最后再被压缩成最终的退化视频x；

根据预先设置的估计模型，获取退化视频x中的中间帧x_t与相邻帧x_t-2和x_t+2，并估计得到预估的下采样视频的中间帧

基于所述预估的下采样视频的中间帧合并得到下采样视频

3.根据权利要求2所述的基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述根据预先设置的估计模型，获取退化视频x中的中间帧x_t与相邻帧x_t-2和x_t+2，并估计得到预估的下采样视频的中间帧的步骤包括：

根据退化视频x，获取与中间帧x_t相邻的前第二帧x_t-2以及后第二帧x_t+2，并分别与中间帧x_t估计得到下采样视频的前一帧和后一帧

通过所述下采样视频的前一帧与后一帧估计得到与退化视频中间帧x_t对应的下采样视频的中间帧

4.根据权利要求3所述的基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述基于预估的下采样视频和所述退化视频计算得到一估计的误差图的步骤包括：

基于退化视频x估计出的下采样视频将下采样视频到退化视频x过程中的退化信息测量为：

根据上述公式计算出得到估计的误差图e，其中，估计的误差图e反映了视频不同区域复原的难度。

5.根据权利要求1所述的基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述利用卷积神经网络处理估计的误差图，利用得到的误差特征对端到端的复原网络进行调制，控制复原网络对更难复原的视频帧区域进行重点复原的步骤包括：

利用卷积神经网络处理估计的误差图e，将误差图e输入一系列的卷积层后，得到每一层的误差特征{β¹,β²,…,βⁿ}；

基于所述误差特征，通过下述公式对复原网络的特征进行调制：

fⁱ＝LReLU(Conv(f^i-1))+βⁱ，

其中，所述LRELU(·)为LeakyReLU的非线性激活层，Conv(·)为3*3的卷积层，fⁱ表示第i层的被调制的特征。

6.根据权利要求5所述的基于误差调制的社交媒体视频质量复原处理方法，其特征在于，所述利用卷积神经网络处理估计的误差图e，将误差图e输入一系列的卷积层后，得到每一层的误差特征{β¹,β²,…,βⁿ}的步骤包括：

通过下述公式，得到每一层的误差特征：

βⁱ＝LReLU(Conv(β^i-1))，

其中，所述LRELU(·)为LeakyReLU的非线性激活层，Conv(·)为3*3的卷积层，βⁱ表示第i层的误差特征。