[发明专利]一种视频的超分辨率方法、装置、终端设备和存储介质

权利要求书

1.一种视频的超分辨率方法，其特征在于，包括：

根据目标视频的多帧视频帧构建至少两个视频帧组合，其中，所述至少两个视频帧组合包括第一视频帧组合和第二视频帧组合，所述第一视频帧组合包含所述目标视频的目标视频帧、从所述目标视频帧之前的视频帧中选取的P个视频帧，以及从所述目标视频帧之后的视频帧中选取的Q个视频帧，所述第二视频帧组合包含所述目标视频的目标视频帧、从所述目标视频帧之前的视频帧中选取的S个视频帧，以及从所述目标视频帧之后的视频帧中选取的T个视频帧；其中，P、Q、S、T为大于0的整数；

分别提取每个所述视频帧组合的特征图像；

将提取到的每个所述视频帧组合的特征图像融合，得到所述目标视频帧的残差图像；

根据所述残差图像和所述目标视频帧，得到所述目标视频帧的超分辨率图像。

2.如权利要求1所述的方法，其特征在于，在根据目标视频的多帧视频帧构建至少两个视频帧组合之前，还包括：

对所述多帧视频帧中除所述目标视频帧之外的其它视频帧，均执行向所述目标视频帧对齐的图像处理。

3.如权利要求2所述的方法，其特征在于，对所述多帧视频帧中除所述目标视频帧之外的其它视频帧，均执行向所述目标视频帧对齐的图像处理，包括：

将所述其它视频帧中任意的一个视频帧作为待对齐视频帧；

计算所述待对齐视频帧的第一SIFT特征和所述目标视频帧的第二SIFT特征；

根据所述第一SIFT特征和所述第二SIFT特征之间的相似度计算得到仿射变换矩阵；

采用所述仿射变换矩阵对所述待对齐视频帧进行变换，得到对齐处理后的所述待对齐视频帧。

4.如权利要求1所述的方法，其特征在于，所述分别提取每个所述视频帧组合的特征图像，包括：

针对每个所述视频帧组合，均分别选取所述目标视频帧、从所述目标视频帧之前的视频帧中选取的M个视频帧以及从所述目标视频帧之后的视频帧中选取的M个视频帧；

根据每个所述视频帧组合中所选取的目标视频帧、从所述目标视频帧之前的视频帧中选取的M个视频帧以及从所述目标视频帧之后的视频帧中选取的M个视频帧分别提取每个所述视频帧组合的特征图像；其中，M为大于0的整数。

5.如权利要求1所述的方法，其特征在于，所述分别提取每个所述视频帧组合的特征图像，具体为：

使用预训练的神经网络模型提取每个所述视频帧组合的特征图像；

所述将提取到的每个所述视频帧组合的特征图像融合，得到所述目标视频帧的残差图像，具体为：

使用所述神经网络模型将提取到的每个所述视频帧组合的特征图像融合，得到所述目标视频帧的残差图像。

6.如权利要求5所述的方法，其特征在于，所述神经网络模型包含空洞卷积层、三维卷积层和二维卷积层，使用所述神经网络模型提取每个所述视频帧组合的特征图像，包括：

针对每个所述视频帧组合，使用所述空洞卷积层对该视频帧组合中包含的各个视频帧进行处理，得到该视频帧组合的第一特征图像；

使用所述三维卷积层对该视频帧组合的第一特征图像进行处理，得到该视频帧组合的第二特征图像；

使用所述二维卷积层对该视频帧组合的第二特征图像进行处理，得到该视频帧组合的特征图像。

7.如权利要求6所述的方法，其特征在于，对于每个所述视频帧组合，其采用的空洞卷积层的空洞率根据该视频帧组合中除所述目标视频帧之外的其它视频帧和所述目标视频帧之间的帧序号差值确定。