[发明专利]视频处理方法、装置、计算机设备及介质

说明书

本公开关于一种视频处理方法、装置、计算机设备及介质，属于互联网技术领域。本公开实施例中，通过获取样本视频中图像对的运动信息，利用该图像对的运动信息，来获取该图像对中运动信息满足运动条件的图像块对，如此，通过设置运动条件，利用图像对的两帧图像的运动信息，来判断图像对的两帧图像的运动信息是否满足运动条件，以获取到包含更多运动信息的图像块，进而基于所获取的图像块对进行模型训练，使得超分辨模型基于能够关注于相邻两帧图像之间的运动变化，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。

技术领域

本公开涉及互联网技术领域，尤其涉及一种视频处理方法、装置、计算机设备及介质。

背景技术

在视频技术领域中，超分辨重建技术有着广泛的应用范围和研究意义，其中，超分辨重建技术是利用一个图像来重建出相应时刻像素密度更高、细节更完整的高分辨率图像。且随着深度学习的发展，基于神经网络的超分辨重建技术获得了较快的发展。

目前，在基于神经网络对视频进行超分辨重建之前，需要先对神经网络进行训练，以得到具备超分辨重建功能的超分辨模型，其中，神经网络的训练数据，通常需要在多个样本视频中，采用随机截取的方式进行截取，以得到样本视频中的图像块，将这些图像块作为神经网络的训练数据，来进行模型训练。

然而，由于随机截取的不确定性，经常会截取到包含信息很少的图像块，因此，利用这些图像块训练出的超分辨模型的准确性较低，进而降低了超分辨重建的准确性，也就降低了视频处理的准确性。

发明内容

本公开提供一种视频处理方法、装置、计算机设备及介质，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频处理方法，该方法包括：

获取样本视频中图像对的运动信息，该图像对包括该样本视频中相邻的一对图像，该运动信息表示该图像对的两帧图像之间的像素运动情况；

从该图像对中，获取运动信息满足运动条件的样本图像块对，该样本图像块对中的两个样本图像块分别位于该图像对的两帧图像；

基于该样本视频中的多对该样本图像块对，进行模型训练，得到超分辨模型，该超分辨模型用于对视频进行超分辨重建。

本公开实施例中，通过获取样本视频中图像对的运动信息，利用该图像对的运动信息，来获取该图像对中运动信息满足运动条件的图像块对，如此，通过设置运动条件，利用图像对的两帧图像的运动信息，来判断图像对的两帧图像的运动信息是否满足运动条件，以获取到包含更多运动信息的图像块，进而基于所获取的图像块对进行模型训练，使得超分辨模型基于能够关注于相邻两帧图像之间的运动变化，丰富了模型训练所参考的信息，能够训练出准确性高的超分辨模型，进而提升了超分辨重建的准确性，也就提升了视频处理的准确性。

在一些实施例中，获取样本视频中图像对的运动信息包括下述任一项：

获取该样本视频中图像对的光流信息，该光流信息表示该图像对中前一帧图像的像素移动至后一帧图像的移动量；或，获取该样本视频中图像对的时序差分信息，该时序差分信息表示该图像对的两帧图像在时序上的运动变化。

本公开实施例中，提供了光流法和时序差分法这两种获取图像对的运动信息的方式，均能够快速获取到图像对的运动信息，提高了获取运动信息的灵活性，其中，通过获取图像对的光流信息，由于该光流信息能够表示图像对中前一帧图像的像素移动至后一帧图像的移动量，也就能够表示该图像对的两帧图像之间的像素运动情况，以便后续利用该光流信息进行运动条件的判断过程，通过获取图像对的时序差分信息，由于该时序差分信息能够表示该图像对的两帧图像在时序上的运动变化，也就能够表示该图像对的两帧图像之间的像素运动情况，以便后续利用该时序差分信息进行运动条件的判断过程。