[发明专利]一种基于卷积神经网络的帧间预测增强方法及系统

权利要求书

1.一种基于卷积神经网络的帧间预测增强方法，用于对帧间预测中的参考块亮度分量进行质量增强，其特征在于，包括步骤如下：

通过运动估计找到与当前块最为相似的块作为参考块；

将VTM代码中的参考块即帧间预测中的参考块亮度分量提取出来，输入到训练后的神经网络模型中，对参考块的亮度分量进行质量增强，对质量增强后的参考块亮度分量进行插值滤波得到预测块亮度分量；将得到的预测块亮度分量与VVC标准方案中的生成的预测块亮度分量进行对比，通过率失真优化选择生成更好的模式的预测块；并且在预测块亮度分量的模式上进行标记；flag＝0，不使用神经网络模型做增强使用默认的方法，flag＝1，使用基于卷积神经网络的帧间预测增强方法。

2.根据权利要求1所述的一种基于卷积神经网络的帧间预测增强方法，其特征在于，通过运动估计找到与当前块最为相似的块作为参考块，包括：在已构建视频帧上进行Tzsearch搜索，与当前块最相似即RDcost最小的视频块即为参考块。

3.根据权利要求1所述的一种基于卷积神经网络的帧间预测增强方法，其特征在于，神经网络模型包括10个注意力残差卷积模块即ARCB、首尾的卷积层以及长链接；

神经网络模型将运动补偿前的参考块亮度分量作为输入，经过卷积核为3×3的卷积层和ReLU；如式(I)所示：

F₁＝max(0，W₀*x)   (I)

式(I)中，W₀代表卷积层的卷积核，x代表神经网络模型的输入，“*”代表卷积操作，F1代表卷积层的输出。

4.根据权利要求3所述的一种基于卷积神经网络的帧间预测增强方法，其特征在于，注意力残差卷积模块包括两个卷积层、Relu、CBAM模块以及短链接；如式(II)、式(III)、式(IV)、式(V)所示：

F_i，1＝max(0，W_i，1*F_i)   (II)

F_i，2＝W_i，2*F_i，1   (III)

F_i，3＝CBAM(F_i，2)   (IV)

F_i+1＝F_i+F_i，3   (V)

式(II)、式(III)、式(IV)、式(V)中，1≤i≤10，F_i为第i个注意力残差卷积模块的输入，W_i，1为第i个注意力残差卷积模块的两个卷积层中第一个卷积层的卷积核，W_i，2为第i个注意力残差卷积模块的两个卷积层中第二个卷积层的卷积核，max()代表ReLU；F_i，1为经过i个注意力残差卷积模块第一个卷积卷积层和RELU的输出，F_i，2代表为经过i个注意力残差卷积模块第二个卷积卷积层的输出，也是CBAM()的输入；CBAM()代表CBAM模块的运算；F_i，3为CBAM模块的输出，F_i+1为第i个注意力残差卷积模块的输出。