[发明专利]一种视频去模糊方法及系统

权利要求书

1.一种视频去模糊方法，其特征在于，所述方法包括基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列，所述训练好的视频去模糊模型包括特征提取网络、时空上下文自注意力网络、深度特征传播网络和视频重构网络；

基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列的具体步骤如下：

采用所述特征提取网络提取模糊视频帧序列中图像特征，得到第一图像特征；

采用时空上下文自注意力网络提取第一图像特征中静态上下文信息和动态上下文信息，并将所述静态上下文信息和动态上下文信息融合得到第二图像特征；

根据所述模糊视频帧序列的光流值采用所述深度特征传播网络对所述第二图像特征进行光流矫正，得到第三图像特征；

采用视频重构网络对所述第三图像特征进行图像重构，得到清晰视频帧序列。

2.根据权利要求1所述的视频去模糊方法，其特征在于，所述基于训练好的视频去模糊模型对模糊视频帧序列进行去模糊处理，获得清晰视频帧序列，之前还包括：

利用训练样本集，采用如下损失函数训练视频去模糊模型，得到训练好的视频去模糊模型；

式中，loss表示损失函数，HEM(·，·)为困难样本挖掘损失函数，L为训练样本集中的模糊视频帧序列样本，N_k(L)代表视频去模糊模型输出的清晰视频帧序列，GT为训练样本集中的模糊视频帧序列样本对应的清晰视频序列样本。

3.根据权利要求1所述的视频去模糊方法，其特征在于，所述时空上下文自注意力网络包括自注意力层、动态区域感知卷积层和特征融合层；

所述采用时空上下文自注意力网络提取第一图像特征中静态上下文信息和动态上下文信息，并将所述静态上下文信息和动态上下文信息融合得到第二图像特征，具体包括：

基于自注意力层对所述第一图像特征进行卷积处理，获得第一图像特征的查询项query、键key和值value，所述键key为静态上下文信息；

根据所述查询项query和键key采用如下公式计算得到相似权重矩阵；

W＝CONV3D(QK)×2，kernel size＝3×1×1

式中，W为相似权重矩阵，Q为查询项query，K为键key，kernel size为三维卷积参数，CONV3D(·)为三维卷积；

基于动态区域感知卷积层，根据所述值value和所述相似权重矩阵采用如下公式计算得到动态上下文信息；

guidance＝argmax(CONV(V))，kernelsize＝1×3×3

W_i＝g(W)i＝0…c

式中，V为值value，CONV(·)为卷积操作，argmax(·)为argmax函数，kernelsize为三维卷积参数，W_i表示的i个通道的权重，guidance为索引值，c为通道维度，Dynamic为动态上下文信息，g(·)为卷积核生成操作，为标准二维卷积；

基于特征融合层利用如下公式对所述静态上下文信息和动态上下文信息进行融合得到所述第二图像特征；

weight＝softmax(CONV3D(mean(Dynamic+K))×2)

out＝weight*Dynamic+(1-weight)*K

式中，K为键key，表征静态上下文信息，mean(·)为均值操作，CONV3D(·)为1×1的三维卷积操作，softmax(·)为softmax函数，weight为融合权重矩阵，out为第二图像特征。

4.根据权利要求1所述的视频去模糊方法，其特征在于，所述根据所述模糊视频帧序列的光流值采用所述深度特征传播网络对所述第二图像特征进行光流矫正，得到第三图像特征，具体包括：

利用所述模糊视频帧序列的光流值对初始双向传播特征进行光流矫正，所述双向传播特征包括第一正向传播特征和第一反向传播特征；

分别将所述光流矫正后的第一正向传播特征和第一反向传播特征与所述第二图像特征进行堆叠，并降维，得到第二正向传播特征和第二反向传播特征；

将所述第二正向传播特征和第二反向传播特征进行堆叠，并降维，得到第三图像特征。