[发明专利]一种视频去模糊方法及系统

说明书

本发明提供一种视频去模糊方法及系统，首先采用所述特征提取网络提取模糊视频帧序列中图像特征，得到第一图像特征；然后采用时空上下文自注意力网络提取第一图像特征中静态上下文信息和动态上下文信息，并将所述静态上下文信息和动态上下文信息融合得到第二图像特征；再根据所述模糊视频帧序列的光流值采用所述深度特征传播网络对所述第二图像特征进行光流及矫正，得到第三图像特征；最后采用视频重构网络对所述第三图像特征进行图像重构，得到清晰视频帧序列。本发明提供的一种视频去模糊方法通过时空上下文自注意力网络，使视频去模糊模型可以更好的关注到相邻帧中全局的信息，并且利用深度特征传播网络可以关注到所有视频帧中更长远信息，提高了视频去模糊的效果。

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频去模糊方法及系统。

背景技术

随着许多高清拍摄设备在日常生活中的广泛应用，人们迫切需求在这些设备上运用去模糊技术来得到清晰视频。视频去模糊方法要求输入多帧视频可以得到复原后的多帧视频，视频中可能包含未知的运动模糊以及亮度噪声等因素的影响，所以对设备的硬件以及算法的鲁棒性有较高的要求。由于视频去模糊是一个高度病态问题，在传统方法中主要是基于贝叶斯框架，利用各样的先验来解决这一类问题。然而这种基于运动模糊的假设和潜在帧的退化方法通常不匹配，此外，这类方法构造的先验通常会带来十分复杂的优化问题，往往很难求解。目前，随着卷积神经网络的发展，人们通常直接堆叠相邻帧视频来处理视频去模糊问题，然而这样并不能充分关注到时间纬度的信息。随后3D卷积，RNN等方法相继被提出来解决时间维度信息利用不充分的问题，但这些方法并不能有效的利用全局信息。

发明内容

本发明的目的是提供一种视频去模糊方法及系统，可提高视频去模糊的效果。

为实现上述目的，本发明提供了如下方案：

一种视频去模糊方法，所述方法包括基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列，所述训练好的视频去模糊模型包括特征提取网络、时空上下文自注意力网络、深度特征传播网络和视频重构网络；

基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列的具体步骤如下：

采用所述特征提取网络提取模糊视频帧序列中图像特征，得到第一图像特征；

采用时空上下文自注意力网络提取第一图像特征中静态上下文信息和动态上下文信息，并将所述静态上下文信息和动态上下文信息融合得到第二图像特征；

根据所述模糊视频帧序列的光流值采用所述深度特征传播网络对所述第二图像特征进行光流及矫正，得到第三图像特征；

采用视频重构网络对所述第三图像特征进行图像重构，得到清晰视频帧序列。

可选的，所述基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列，之前还包括：

利用训练样本集，采用如下损失函数训练视频去模糊模型，得到训练好的视频去模糊模型；

式中，loss表示损失函数，HEM(·,·)为困难样本挖掘损失函数，L为训练样本集中的模糊视频帧序列样本，N_k(L)代表视频去模糊模型输出的清晰视频帧序列，GT为训练样本集中的模糊视频帧序列样本对应的清晰视频序列样本。

可选的，所述时空上下文自注意力网络包括自注意力层、动态区域感知卷积层和特征融合层；

所述采用时空上下文自注意力网络提取第一图像特征中静态上下文信息和动态上下文信息，并将所述静态上下文信息和动态上下文信息融合得到第二图像特征，具体包括：

基于自注意力层对所述第一图像特征进行卷积处理，获得第一图像特征的查询项query、键key和值value，所述键key为静态上下文信息；