[发明专利]基于显式光流对齐融合的视频去雨雪方法

权利要求书

1.一种基于显式光流对齐融合的视频去雨雪方法，其特征在于，包括：

训练部分包括数据预处理，显示光流计算，多帧融合和目标函数优化步骤，推理部分包括视频预处理、模型推理和视频合成步骤；

所述数据预处理用于处理视频帧并得到训练样本对，将训练样本对交由显式光流计算和目标函数优化处理；

所述显式光流计算首先计算输入的当前帧与左右相邻帧的光流运动信息，再由光流运动信息计算得到当前帧的估计帧，最后将估计帧与当前帧同时传递给多帧融合；

多帧融合用于根据显式光流估计得到的空间相对运动信息指导当前帧的雨雪纹理的定位和去除，将融合后的预测帧交给目标函数优化进行参数更新；

目标函数优化用于对多帧融合输出的图像与数据预处理提供的参考图像之间的损失函数进行梯度下降法优化，用于模型的训练；

视频预处理用于将输入的一段雨雪场景下的视频序列处理成若干组图像序列，提供给模型推理和视频合成使用；

模型推理根据训练部分的显式光流计算和多帧融合步骤，根据输入的当前帧与当前帧的左右相邻帧计算得到预测输出帧；

视频合成用于将所述预测输出帧进行合成处理，生成视频形式保存。

2.如权利要求1所述的基于显式光流对齐融合的视频去雨雪方法，其特征在于，训练部分进一步包括可视化和调节步骤，可视化和调节用于是对多帧融合步骤输出的图像序列和目标函数优化在训练部分中产生的超参数做规范处理，进行可视化和调节操作。

3.如权利要求1或2所述的基于显式光流对齐融合的视频去雨雪方法，其特征在于，所述样本对包括雨雪场景下的连续帧序列和对应的正常场景下的参考帧，雨雪场景下的连续帧序列包括待处理的当前帧，当前帧的左相邻帧和前帧的右相邻帧，对应的正常场景下的参考帧为处理后的当前帧。

4.如权利要求3所述的基于显式光流对齐融合的视频去雪方法，其特征在于，对于静止场景，样本对中雨雪场景和正常场景下的视频序列为使用相同摄像设备相同时段在相同地点分别拍摄下相同时长的雨雪天气和晴朗天气的同一场景，得到样本序列。

5.如权利要求3所述的基于显式光流对齐融合的视频去雪方法，其特征在于，样本对中雨雪场景下的视频序列为使用合成的方式模拟雨雪场景。

6.如权利要求1或2所述的基于显式光流对齐融合的视频去雨雪方法，其特征在于，所述光流运动信息计算过程如下：通过若干个依次设置的采样、仿射变换和光流估计得到估计帧。

7.如权利要求1或2所述的基于显式光流对齐融合的视频去雨雪方法，其特征在于，多帧融合包括多个卷积核尺寸不同的卷积层和ReLU激活层。

8.如权利要求1或2所述的基于显式光流对齐融合的视频去雨雪方法，其特征在于，每组图像序列由当前帧与其左右相邻帧总共三帧组成。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。