[发明专利]基于显式光流对齐融合的视频去雨雪方法

说明书

本发明公开了一种基于显式光流对齐融合的视频去雨雪方法，包括训练部分和推理部分，训练部分包括数据预处理，显示光流计算，多帧融合和目标函数优化步骤，推理部分包括视频预处理、模型推理和视频合成步骤；所述显式光流计算首先计算输入的当前帧与左右相邻帧的光流运动信息，再由光流运动信息计算得到当前帧的估计帧，最后将估计帧与当前帧同时传递给多帧融合；视频预处理用于将输入的一段雨雪场景下的视频序列处理成若干组图像序列；模型推理根据训练部分的显式光流计算和多帧融合步骤，根据输入的当前帧与当前帧的左右相邻帧计算得到预测输出帧。

技术领域

本发明属于视频处理技术领域，具体涉及一种基于显式光流对齐融合的视频去雨雪方法。

背景技术

在现实生活中，因为雨雪会对道路上的路况造成一定程度的遮挡，驾驶车辆行驶在下大雨或大雪的恶劣天气下是非常危险的；慢直播过程中去除因雨雪遮挡而造成的观看效果差，造成对物体识别应用场景的干扰。以上所述的情况都需要对影片进行后期的去雨雪处理。

目前针对视频去雨雪的研究大多数基于模型驱动的方法，将雨雪当成噪声分量，使用低秩稀疏分解算法分离出来，或者从频域角度滤波，达到去雨雪的目的，这类方法忽略了雨雪与视频图像背景纹理之间的关系，或多或少会去除无雨雪区域的纹理细节，去除效果不好。

还有基于数据驱动的方法，采用神经网络模型，结合大量数据进行训练，这种方法缺点是需要大量成对的数据，而真实的样本数据是很难获取且获取方式繁琐，如果采用合成雨雪的方式扩充数据，会由于合成样本的分布与真实样本分布存在差异导致训练泛化效果差；同时这类方法很难实时处理视频流。

发明内容

针对以上问题，本发明提供一种基于显式光流对齐融合的视频去雨雪方法，用于解决类似慢直播等视频应用场景下的雨雪天气对画面的遮挡，影响观看效果的问题。

为解决上述技术问题，本发明采用如下的技术方案：

本发明第一方面提供了一种基于显式光流对齐融合的视频去雨雪方法，包括：

训练部分包括数据预处理，显示光流计算，多帧融合和目标函数优化步骤，推理部分包括视频预处理、模型推理和视频合成步骤；

所述数据预处理用于处理视频帧并得到训练样本对，将训练样本对交由显式光流计算和目标函数优化处理；

所述显式光流计算首先计算输入的当前帧与左右相邻帧的光流运动信息，再由光流运动信息计算得到当前帧的估计帧，最后将估计帧与当前帧同时传递给多帧融合；

多帧融合用于根据显式光流估计得到的空间相对运动信息指导当前帧的雨雪纹理的定位和去除，将融合后的预测帧交给目标函数优化进行参数更新；

目标函数优化用于对多帧融合输出的图像与数据预处理提供的参考图像之间的损失函数进行梯度下降法优化，用于模型的训练；

视频预处理用于将输入的一段雨雪场景下的视频序列处理成若干组图像序列，提供给模型推理和视频合成使用；

模型推理根据训练部分的显式光流计算和多帧融合步骤，根据输入的当前帧与当前帧的左右相邻帧计算得到预测输出帧；

视频合成用于将所述预测输出帧进行合成处理，生成视频形式保存。

优选地，训练部分进一步包括可视化和调节步骤，可视化和调节用于是对多帧融合步骤输出的图像序列和目标函数优化在训练部分中产生的超参数做规范处理，进行可视化和调节操作。

优选地，所述样本对包括雨雪场景下的连续帧序列和对应的正常场景下的参考帧，雨雪场景下的连续帧序列包括待处理的当前帧，当前帧的左相邻帧和前帧的右相邻帧，对应的正常场景下的参考帧为处理后的当前帧。