[发明专利]视频处理方法和装置

说明书

本公开公开了一种视频处理方法和装置，涉及视频处理技术领域。其中的视频处理方法包括：对视频的目标帧及其相邻帧进行特征编码，以得到目标帧及其相邻帧的特征图；对于所述目标帧的特征图中的每个像素，确定所述相邻帧的特征图中与所述像素相关度最大的像素；根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图；根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建。本公开能够提高视频超分辨处理效率，降低视频超分辨处理对计算资源的要求，提高超分辨重建出的视频质量。

技术领域

本公开涉及视频处理领域，尤其涉及一种视频处理方法和装置。

背景技术

超分辨率，即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。

相关技术中，可通过卷积神经网络进行超分辨率处理，以恢复低分辨率视频中的图像细节。这类方法主要通过融合相邻帧的局部细节以填补低分辨率视频帧中缺失的细节，其存在以下不足：第一、相关技术在融合相邻帧的布局细节之前，需要依靠光流法等方式计算视频帧之间的图像对应关系，这会导致在视频中有较大运动的情况下计算准确性不佳，以及对计算资源要求高，速度慢等问题；第二、由于可以参考的相邻帧也是低分辨率的，对增强关键帧的清晰度贡献很小。

发明内容

本公开要解决的一个技术问题是，提供一种视频处理方法和装置，能够提高视频超分辨处理效率，降低视频超分辨处理对计算资源的要求，提高超分辨重建出的视频质量。

根据本公开一方面，提出一种视频处理方法，包括：对视频的目标帧及其相邻帧进行特征编码，以得到目标帧及其相邻帧的特征图；对于所述目标帧的特征图中的每个像素，确定所述相邻帧的特征图中与所述像素相关度最大的像素；根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图；根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建。

在一些实施例中，根据所述目标帧的特征图和所述第一参考特征图，进行超分辨率重建包括：根据所述目标帧的特征图、所述第一参考特征图以及第二参考特征图，进行超分辨率重建，其中，所述第二参考特征图融合了通用像素特征。

在一些实施例中，确定所述相邻帧的特征图中与所述像素相关度最大的像素包括：确定所述像素与其在所述相邻帧的特征图中的邻域像素的相关度；根据所述相关度，从所述邻域像素中选取出相关度最大的像素。

在一些实施例中，根据所述相邻帧的特征图中与所述像素相关度最大的像素，构建第一参考特征图包括：根据所述相邻帧的特征图中与所述像素相关度最大的像素的特征，以及对应的相关度，确定所述像素对应的第一参考特征；根据所述像素对应的第一参考特征，构建第一参考特征图。

在一些实施例中，视频处理方法还包括：确定所述目标帧的特征图中的像素与多个通用像素特征的相关度；按照所述相关度对所述多个通用像素特征进行融合处理，以得到所述像素对应的第二参考特征；根据所述像素对应的第二参考特征，构建所述第二参考特征图。

在一些实施例中，按照所述相关度对所述多个通用像素特征进行融合处理，以得到所述像素对应的第二参考特征包括：对所述相关度进行归一化；将归一化后的相关度作为权重，对所述多个通用像素特征进行加权平均运算，并将加权平均运算的结果作为所述像素对应的第二参考特征。

在一些实施例中，根据所述目标帧的特征图、所述第一参考特征图以及第二参考特征图，进行超分辨率重建包括：将所述目标帧的特征图、所述第一参考特征图以及第二参考特征图输入特征解码网络模型，以输出第一重建图像；对所述第一重建图像，以及，对所述目标帧的特征图进行双线性插值处理得到的特征图，进行叠加，以得到第二重建图像。

在一些实施例中，特征编码所用的网络模型包括多层ResNet模块。