[发明专利]一种基于超分辨率网络的视频编码分像素运动补偿方法

说明书

本发明公开了一种基于超分辨率网络的视频编码分像素运动补偿方法，具体包括以下步骤：S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FSRCNN网络模型；S2、在所述FSRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FSRCNN网络模型中，输出高分辨率帧；S3、构建高效视频编码标准HEVC，将训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。本发明提高了互预测的效率，并实现了显著的比特节省，以实现更好的压缩效率和预测精度。

技术领域

本发明属于实时视频通信技术领域，特别是涉及一种基于超分辨率网络的视频编码分像素运动补偿方法。

背景技术

在视频编码中，通过分像素运动补偿来消除视频序列中的时间冗余，H.264/AVC和HEVC都是现代视频编码标准。它们使用基于块的运动补偿来进行相互间预测，有效地降低了自然视频中的时间冗余，提高了高效视频编码(HEVC)的互预测效率，并得到了广泛的应用。

然而，由于视频的空间分散，该块的平移可能不会与该像素对齐。在预测当前块时，仅在参考图像块中搜索还不够。换句话说，由于数字视频的空间采样，视频帧中相邻像素的位置是不连续的。因此，引入了亚像素运动补偿来解决这个问题。为了获得更有效的视频编码标准，采用分数插值方法进行子像素运动补偿。

传统的分数像素运动补偿方法通常从整数像素中插值分数像素。近年来，随着深度学习技术的不断发展，人们提出了图像分类、去噪和嵌入等许多方法。随后研究人员发现，将基于深度学习的网络结构应用于视频编码中，可以显著提高视频效率。而现有的基于深度学习的分数式插值方法要么只产生半像素，要么需要为相应的子像素位置训练相应的模型，其实用性有限。

发明内容

为了解决上述技术问题，本发明提供一种基于超分辨率网络的视频编码分像素运动补偿方法，提高了互预测的效率，并实现了显著的比特节省。

为实现上目的，本发明提出一种基于超分辨率网络的视频编码分像素运动补偿方法，具体包括以下步骤：

S1、构建FSRCNN网络模型，并对所述FSRCNN网络模型进行训练，得到训练好的FSRCNN网络模型；

S2、在所述FSRCNN网络模型中引入细节组件，并将所述细节组件与信道尺寸中的输入帧级联，然后输入到训练好的FSRCNN网络模型中，输出高分辨率帧；

S3、构建高效视频编码标准HEVC，将所述训练好的FSRCNN网络模型替换所述HEVC中的亚像素运动补偿，得到视频编码的测试性能指标。

优选地，所述FSRCNN网络模型，包括：特征提取层、收缩层、映射层、膨胀层和反褶积层；每层均包括敏感变量和不敏感变量。

优选地，所述特征提取层，具体为：提取原始图像的特征并设置卷积层过滤器的大小和低分辨率特征维数；所述低分辨率特征维数是第一个敏感变量。

优选地，所述收缩层，具体为：采用固定尺寸的滤波器对所述低分辨率特征维数进行降维；降维后的低分辨率特征维数是第二个敏感变量。

优选地，所述映射层，具体为：调整所有层的数量、所有层中过滤器的数量和映射层的数量；所述映射层的数量是第三个敏感变量。

优选地，所述膨胀层，具体为：引入一个层滤波器来扩展高分辨率的特征尺寸，并采用合同参数来表示。

优选地，所述反褶积层，具体为：引入一组反褶积滤波器来进行上采样和聚合前验处理明显的特征，并设置步幅和重建HR图像。

优选地，所述反褶积层的步幅为4。

优选地，所述细节组件是利用输入帧和相邻帧之间做减法运算得到。