[发明专利]视频处理方法及装置

说明书

本公开关于一种视频处理方法及装置。该视频处理方法包括：获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征；计算所述当前帧图像的特征和所述前一帧图像的特征的相关性；基于所述相关性和所述前一帧图像的隐层特征，确定所述当前帧图像和所述前一帧图像的对齐特征；基于所述对齐特征对所述当前帧图像进行处理。根据本公开的视频处理方法及装置，可提高视频处理效率和效果。

技术领域

本公开涉及视频技术领域。更具体地，本公开涉及一种视频处理方法及装置。

背景技术

视频作为记录人类生活的载体，是现代生活中不可缺乏的一部分。随着科技的进步，人们对视频的质量要求越来越高，对画质有着永恒的追求。这里主要包括去模糊，去噪声和超分辨。受限于拍摄设备和传输以及编解码的限制，很多用户在下发的视频中无法获得高质量的视频。因此，需要引入外部算法来帮助用户获得更高清的视频。以视频超分辨为例，以往的算法在采用循环卷积网络时，会根据光流计算前一帧与当前帧的光流，以此作为指引将上一时刻的隐层特征补偿到当前时刻。然而，光流的估计是不准确的，特别是在遮挡和运动较大的场景。另外，光流的估计是非常耗时的，逐像素的光流估计会消耗巨大的计算资源。那么寻找一种光流的替代方案是非常有必要的。

发明内容

本公开的示例性实施例在于提供一种视频处理方法及装置，以至少解决相关技术中的视频处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种视频处理方法，包括：获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征；计算所述当前帧图像的特征和所述前一帧图像的特征的相关性；基于所述相关性和所述前一帧图像的隐层特征，确定所述当前帧图像和所述前一帧图像的对齐特征，其中，所述前一帧图像的隐层特征包括对所述前一帧图像进行处理的输入层和输出层之间的隐藏层的特征；基于所述对齐特征对所述当前帧图像进行处理。

可选地，确定所述当前帧图像和所述前一帧图像的对齐特征的步骤可包括：基于所述当前帧图像的特征和所述前一帧图像的特征的相关性确定所述当前帧图像和所述前一帧图像中的相关性最大的位置；基于所述相关性最大的位置对所述前一帧图像的隐层特征进行对齐操作，得到所述当前帧图像和所述前一帧图像的对齐特征。

可选地，基于所述相关性最大的位置对所述前一帧图像的隐层特征进行对齐操作的步骤可包括：将所述相关性最大的位置作为索引，对所述前一帧图像的隐层特征进行迁移。

可选地，获取待处理视频的当前帧图像的特征和当前帧的前一帧图像的特征的步骤可包括：通过相同的特征提取网络分别对所述当前帧图像和所述前一帧图像进行特征提取，得到所述当前帧图像的特征和所述前一帧图像的特征。

可选地，计算所述当前帧图像的特征和所述前一帧图像的特征的相关性的步骤可包括：计算所述当前帧图像的特征的范数，将所述当前帧图像的特征除以所述当前帧图像的特征的范数，得到第一特征；计算所述前一帧图像的特征的范数，将所述前一帧图像的特征除以所述前一帧图像的特征的范数，得到第二特征；将第一特征和第二特征的内积作为所述当前帧图像的特征和所述前一帧图像的特征的相关性。

可选地，基于所述对齐特征对所述当前帧图像进行处理的步骤可包括：将所述当前帧图像和所述对齐特征进行拼接，得到拼接特征；将所述拼接特征输入到预设的卷积神经网络，得到所述当前帧图像的处理后的图像和所述当前帧图像的隐层特征。

可选地，所述当前帧图像的处理后的图像可包括所述当前帧图像的超分辨处理图像或所述当前帧图像的图像增强处理图像。