[发明专利]视频的超分辨率处理方法、装置、电子设备及存储介质

说明书

本公开关于一种视频的超分辨率处理方法、装置、电子设备及存储介质，所述方法包括：通过超分辨网络对待处理视频进行正向传播，得到当前视频帧的当前隐层特征以及目标视频帧的目标隐层特征，目标视频帧包括当前视频帧之前的N帧视频帧和之后的N帧视频帧中的至少一个，N为任意正整数；对目标隐层特征和当前隐层特征进行特征提取，得到目标空间特征图和当前空间特征图；根据当前空间特征图、目标空间特征图，以及当前视频帧的初始超分视频帧，生成当前视频帧的超分辨特征；根据超分辨特征，得到超分视频帧。根据本公开的技术方案，采用步长N的局部时序的往返优化策略，实现实时地对视频进行超分辨处理，提高了视频的超分辨处理实时性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种视频的超分辨率处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

视频超分辨是通过利用输入帧间的互补信息来填充低分辨到高分辨所缺失的细节。随着短视频时代的发展，视频超分辨技术被广泛应用在服务端的视频增强上。

相关技术中，可以采用双向循环卷积网络(例如BasicVSR、GOVSR)处理视频的超分辨任务。双向循环卷积网络会先进行正向的隐层特征传播，即从视频的起始帧向结尾帧传播，将过去一个时刻的网络输出结果传送给下一个时刻。在正向传播结束后，存储每个时刻的正向网络输出结果。然后，再进行反向的隐层特征传播，即从视频的结尾帧向起始帧传播。在反向传播结束后，存储每个时刻的反向网络输出结果。最后，基于每个时刻对应的正向网络输出结果和反向网络输出结果生成每个时刻对应的超分辨结果。但是，由于基于双向循环卷积网络的方法需要依次进行正向传播和反向传播才能得到超分辨结果，从而影响超分辨结果的输出实时性。

发明内容

本公开提供一种视频的超分辨率处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，以至少解决相关技术中超分辨结果的输出实时性较差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频的超分辨率处理方法，包括：

通过超分辨网络对待处理视频进行正向传播，针对所述待处理视频中的当前视频帧，得到所述当前视频帧对应的当前隐层特征以及目标视频帧对应的目标隐层特征，所述目标视频帧包括所述当前视频帧之前的N帧视频帧和所述当前视频帧之后的N帧视频帧中的至少一个，所述N为任意正整数；

对所述目标隐层特征进行特征提取，得到目标空间特征图；

对所述当前隐层特征进行特征提取，得到当前空间特征图；

根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征；

根据所述超分辨特征，得到所述当前视频帧的超分视频帧。

在其中一个实施例中，所述根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征，包括：

对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图；

采用所述时序特征图对所述目标空间特征图进行变换处理，得到变换特征图；

根据所述变换特征图、所述当前空间特征图以及所述初始超分视频帧，生成所述当前视频帧对应的超分辨特征。

在其中一个实施例中，所述对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图，包括：

通过第一特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至未来时刻方向的第一时序特征图；

通过第二特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至过去时刻方向的第二时序特征图。