[发明专利]视频分辨率提升方法及装置、存储介质及电子设备

说明书

本公开涉及图像处理技术领域，具体涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备，方法包括：获取多帧图像作为输入数据，并利用第一三维卷积层对输入数据进行特征提取得到初始数据；对初始数据进行预设倍数的下采样得到第一特征数据；利用第二三维卷积层对第一特征数据进行卷积运算将第一特征数据合并为一帧得到第一参考数据；对第一参考数据进行预设倍数的上采样得到第一输出数据。本公开实施例的技术方案有效解决了视频帧间抖动的问题；提升计算效率，有效的提升输出结果的图像细节。

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备。

背景技术

随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。

视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。但是相关技术中的视频超分辨率方法往往存在没有对输入图像进行较好的特征分析，导致输出图像缺少输入图像的部分细节；且大多均只允许一帧一帧的输入，会造成视频帧间抖动，且运算时间较高。

因此，有必要设计一种新的视频分辨率提升方法及装置、计算机可读存储介质及电子设备。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种视频分辨率提升方法及装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服相关技术中的视频超分辨率方法往往存在没有对输入图像进行较好的特征分析，导致输出图像缺少输入图像的部分细节；且大多均只允许一帧一帧的输入，会造成视频帧间抖动，且运算时间较高的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供了一种视频分辨率提升方法，包括：

获取多帧图像作为输入数据，并利用第一三维卷积层对所述输入数据进行特征提取得到初始数据；

对所述初始数据进行预设倍数的下采样得到第一特征数据；

利用第二三维卷积层对所述第一特征数据进行卷积运算将所述第一特征数据合并为一帧得到第一参考数据；

对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据。

在本公开的一种示例性实施例中，对所述初始数据进行预设倍数的下采样得到第一特征数据，包括：

对所述初始数据进行预设倍数的下采样，并对下采样后的初始数据利用所述第一三维卷积层进行特征提取得到第一特征数据。

在本公开的一种示例性实施例中，所述方法还包括：

对所述初始数据利用第二三维卷积层进行卷积运算将所述初始数据合并为一帧得到第二输出数据；

将所述第二输出数据和所述第一输出数据进行叠加，并利用第一三维卷积层进行卷积运算得到目标数据；

对所述目标数据进行多倍上采样得到超分辨率图像。

在本公开的一种示例性实施例中，对所述第一参考数据进行所述预设倍数的上采样得到第一输出数据，包括：

对所述第一参考数据利用第一三维卷积层进行特征提取得到第二特征数据；

对所述第二特征数据进行所述预设倍数的上采样得到第一输出数据。