[发明专利]一种视频的超分辨率方法、装置、终端设备和存储介质

说明书

本申请涉及图像处理技术领域，提出一种视频的超分辨率方法、装置、终端设备及计算机可读存储介质。本申请首先根据目标视频的多帧视频帧构建多个视频帧组合，其中每个视频帧组合都包含目标视频帧、该目标视频帧之前的一定数量的视频帧以及该目标视频帧之后的一定数量的视频帧。然后，分别提取每个视频帧组合的特征图像进行融合，得到该目标视频帧的残差图像；最后，根据该残差图像和该目标视频帧得到对应的超分辨率图像。本申请通过将包含目标视频帧的多帧视频帧分组，分别提取每组视频帧的特征图像，再进行特征图像的融合，能够结合目标视频帧前后的视频帧的特征信息对目标视频帧进行重建，从而提高视频超分辨率的效果。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频的超分辨率方法、装置、终端设备及计算机可读存储介质。

背景技术

视频的超分辨率是指通过硬件或软件的方法提高视频帧的分辨率，以获得更高清的视频内容。传统的视频超分辨率主要采用图像超分技术，然而图像超分技术没有考虑连续的视频帧之间的一致性以及时序相关性，对视频进行超分辨率的效果不佳。

发明内容

有鉴于此，本申请实施例提供了一种视频的超分辨率方法、装置、终端设备及计算机可读存储介质，能够提高视频超分辨率的效果。

本申请实施例的第一方面提供了一种视频的超分辨率方法，包括：

根据目标视频的多帧视频帧构建至少两个视频帧组合，其中，所述至少两个视频帧组合包括第一视频帧组合和第二视频帧组合，所述第一视频帧组合包含所述目标视频的目标视频帧、从所述目标视频帧之前的视频帧中选取的P个视频帧，以及从所述目标视频帧之后的视频帧中选取的Q个视频帧，所述第二视频帧组合包含所述目标视频的目标视频帧、从所述目标视频帧之前的视频帧中选取的S个视频帧，以及从所述目标视频帧之后的视频帧中选取的T个视频帧；其中，P、Q、S、T为大于0的整数；

分别提取每个所述视频帧组合的特征图像；

将提取到的每个所述视频帧组合的特征图像融合，得到所述目标视频帧的残差图像；

根据所述残差图像和所述目标视频帧，得到所述目标视频帧的超分辨率图像。

本申请实施例首先根据目标视频的多帧视频帧构建多个视频帧组合，其中每个视频帧组合都包含目标视频帧、该目标视频帧之前的一定数量的视频帧以及该目标视频帧之后的一定数量的视频帧。然后，分别提取每个视频帧组合的特征图像进行融合，得到该目标视频帧的残差图像；最后，根据该残差图像和该目标视频帧得到对应的超分辨率图像。本申请实施例通过将包含目标视频帧的多帧视频帧分组，分别提取每组视频帧的特征图像，再进行特征图像的融合，能够结合目标视频帧前后的视频帧的特征信息对目标视频帧进行重建，从而提高视频超分辨率的效果。

在本申请的一个实施例中，在根据目标视频的多帧视频帧构建至少两个视频帧组合之前，还可以包括：

对所述多帧视频帧中除所述目标视频帧之外的其它视频帧，均执行向所述目标视频帧对齐的图像处理。

为了补充目标视频帧中因为角度或者拍摄点差异而缺失的图像信息，在进行视频帧分组之前，还可以对该目视频帧前后的各个视频帧执行向该目标视频帧对齐的图像处理，也即执行图像对齐的操作。

进一步的，对所述多帧视频帧中除所述目标视频帧之外的其它视频帧，均执行向所述目标视频帧对齐的图像处理，可以包括：

将所述其它视频帧中任意的一个视频帧作为待对齐视频帧；

计算所述待对齐视频帧的第一SIFT特征和所述目标视频帧的第二SIFT特征；

根据所述第一SIFT特征和所述第二SIFT特征之间的相似度计算得到仿射变换矩阵；

采用所述仿射变换矩阵对所述待对齐视频帧进行变换，得到对齐处理后的所述待对齐视频帧。