[发明专利]基于光流估计与前景检测的运动视频帧率增强方法及系统

权利要求书

1.基于光流估计与前景检测的运动视频帧率增强方法，其特征是，包括如下步骤：

对获取的待处理视频数据，利用前景检测算法处理得到完整的运动目标图像；

利用光流估计网络对待处理视频数据拟合获得前景光流信息；

根据前景检测获得的目标图像与前景光流信息，利用生成对抗网络生成视频补帧，根据视频补帧对待处理的视频数据进行补帧。

2.如权利要求1所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是，还包括对视频数据进行预处理的步骤：将原始视频数据与增强后生成的高帧率视频真值转换为帧序列的形式。

3.如权利要求1所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是，利用前景检测算法处理得到完整的运动目标图像，方法具体为：

针对待处理视频数据中相邻的两帧图像，利用背景建模方法对背景像素分布进行建模获取背景图像帧；

将当前视频帧与背景图像帧的像素值相减，得到当前视频帧中含有完整运动目标的图像，得到图像中的运动目标。

4.如权利要求1所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是：生成对抗网络包括级联的生成器网络和判别器网络；

生成器网络用于生成逼真的补帧图像；

判别器网络用于识别生成器网络输出的补帧图像与设定的视频真值之间的误差大小，当误差在设定的范围内，根据补帧图像对原始视频进行补帧操作，从而获得增强后的补帧视频。

5.如权利要求4所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是：补帧图像与设定的视频真值之间的误差大小通过损失函数确定，损失函数具体为：所有生成的视频补帧的像素值与要求的增强后高帧率视频中对应帧的像素值之差的绝对值之和。

6.如权利要求1所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是还包括对生成对抗网络GAN训练的步骤，包括如下：

获取原始视频数据并进行预处理；

对获取的原始视频数据，利用前景检测算法处理得到完整的运动目标图像；

利用光流估计网络对原始视频数据拟合获得前景光流信息；

构建生成对抗网络，根据前景检测获得的目标图像与前景光流信息，利用生成对抗网络生成视频补帧；

构建生成对抗网络的目标函数；

采用反向传播算法和随机梯度下降法来减小目标函数来训练生成对抗网络模型，并基于该目标函数对网络权值进行优化和修正，经过多次迭代训练得到最终的视频补帧生成对抗网络。

7.如权利要求6所述的基于光流估计与前景检测的运动视频帧率增强方法，其特征是：生成对抗网络的目标函数为：生成的视频补帧的像素值与要求的增强后高帧率视频中对应的像素值之差的绝对值之和最小。

8.基于光流估计与前景检测的运动视频帧率增强系统，其特征是：包括视频采集装置和服务器；

其中，视频采集装置，其被配置为采集待增强的视频数据，并传送至服务器；

所述服务器，被配置为执行权利要求1-7任一项方法所述的步骤。

9.基于光流估计与前景检测的运动视频帧率增强系统，其特征是，包括：

前景检测模块：被配置为用于对获取的待处理视频数据，利用前景检测算法处理得到完整的运动目标图像；

光流估计模块：被配置为用于利用光流估计网络对待处理视频数据拟合获得前景光流信息；

补帧模块：被配置为用于根据前景检测获得的目标图像与前景光流信息，利用生成对抗网络生成视频补帧，根据视频补帧对待处理的视频数据进行补帧。

10.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。