[发明专利]视频的超分辨率处理方法、装置、电子设备及存储介质

权利要求书

1.一种视频的超分辨处理方法，其特征在于，包括：

通过超分辨网络对待处理视频进行正向传播，针对所述待处理视频中的当前视频帧，得到所述当前视频帧对应的当前隐层特征以及目标视频帧对应的目标隐层特征，所述目标视频帧包括所述当前视频帧之前的N帧视频帧和所述当前视频帧之后的N帧视频帧中的至少一个，所述N为任意正整数；

对所述目标隐层特征进行特征提取，得到目标空间特征图；

对所述当前隐层特征进行特征提取，得到当前空间特征图；

根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征；

根据所述超分辨特征，得到所述当前视频帧的超分视频帧。

2.根据权利要求1所述的视频的超分辨处理方法，其特征在于，所述根据所述当前空间特征图、所述目标空间特征图，以及对所述当前空间特征图进行处理得到的初始超分视频帧，生成所述当前视频帧对应的超分辨特征，包括：

对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图；

采用所述时序特征图对所述目标空间特征图进行变换处理，得到变换特征图；

根据所述变换特征图、所述当前空间特征图以及所述初始超分视频帧，生成所述当前视频帧对应的超分辨特征。

3.根据权利要求2所述的视频的超分辨处理方法，其特征在于，所述对所述目标隐层特征进行特征提取，得到所述目标视频帧对应的时序特征图，包括：

通过第一特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至未来时刻方向的第一时序特征图；

通过第二特征提取网络对所述目标隐层特征进行特征提取，得到所述目标视频帧至过去时刻方向的第二时序特征图。

4.根据权利要求3所述的视频的超分辨处理方法，其特征在于，所述采用所述时序特征图对所述目标空间特征图进行变换处理，得到变换特征图，包括：

在所述目标视频帧为所述当前视频帧之前的N帧视频帧情况下，获取所述当前视频帧之前的N帧视频帧的N个第一时序特征图的第一加权和，获取所述当前视频帧之前的第N个视频帧对应的目标空间特征图与所述第一加权和之差，作为所述变换特征图；

在所述目标视频帧为所述当前视频帧之后的N帧视频帧情况下，获取所述当前视频帧之后的N帧视频帧的N个第二时序特征图的第二加权和，获取所述当前视频帧之后的第N个视频帧对应的目标空间特征图与所述第二加权和之差，作为所述变换特征图；

在所述目标视频帧为所述当前视频帧之前的N帧视频帧和之后的N帧视频帧的情况下，将所述当前视频帧之前的第N个视频帧对应的目标空间特征图与所述第一加权和之差，以及所述当前视频帧之后的第N个视频帧对应的目标空间特征图与所述第二加权和之差，作为所述变换特征图。

5.根据权利要求3所述的视频的超分辨处理方法，其特征在于，所述第一特征提取网络与所述第二特征提取网络具有相同的网络结构和不同的网络参数；

所述网络结构中包括多层依次连接的残差模块。

6.根据权利要求2所述的视频的超分辨处理方法，其特征在于，所述根据所述变换特征图、所述当前空间特征图以及所述初始超分视频帧，生成所述当前视频帧对应的超分辨特征，包括：

拼接所述变换特征图、所述当前空间特征图以及所述初始超分视频帧，得到第一拼接特征；

对所述第一拼接特征进行特征提取，得到所述超分辨特征。