[发明专利]一种针对视频图像的光流估计与去噪联合学习深度网络模型

说明书

本发明公开一种针对视频图像的光流估计与去噪联合学习深度网络模型，属于图像处理领域。该模型包括预处理模块、光流估计模块和去噪模块，每个模块采用Encoder‑Decoder网络结构，利用样本数据集首先单独训练预处理模块，然后固定预处理模块的相关参数，同时训练预处理模块和光流估计模块，最后固定预处理模块和光流估计模块的相关参数，整体训练包含三个模块的深度网络模型，利用训练完成的深度网络模型可直接对含噪视频图像进行光流估计和去噪处理。本发明提出的联合学习深度网络模型，光流估计和去噪速度快，精度高，便于在实际中快速处理大量视频图像。

技术领域

本发明涉及图像处理领域，具体指一种针对视频图像的光流估计与去噪联合学习深度网络模型。

背景技术

视频图像在采集、压缩、存储、传输等环节中都面临噪声干扰，噪声会显著降低视频图像的视觉质量，并对后续的目标识别和跟踪等智能化分析造成困难。因此，需要在保留视频信息的前提下去除视频图像中的噪声，提高信噪比和改善视觉效果。

由于视频图像具有时域相关性，因此可以把光流估计和视频去噪相结合，获得更好的去噪效果，但是现有的联合光流估计与视频去噪算法，需要大量迭代运算，耗费大量计算资源和时间，不便在实际中应用，而且光流估计容易受到视频噪声的干扰，从而影响去噪效果。因此，提出快速有效的联合光流估计与视频去噪算法，是视频图像处理领域急需解决的问题。

发明内容

本发明为克服上述情况不足，旨在提供一种针对视频图像的光流估计与去噪联合学习深度网络模型，利用深度网络模型从大量训练样本中，联合学习光流估计和视频去噪，以解决现有技术中光流估计精度低，去噪效果差，耗时长的问题。

为解决上述技术问题，本发明提出的技术方案是：

一种针对视频图像的光流估计与去噪联合学习深度网络模型，其特征在于：该联合深度学习网络模型包括三个模块：预处理模块、光流估计模块和去噪模块，首先利用样本数据集对深度网络模型进行训练；然后对输入的噪声图像im_n1和im_n2，利用预处理模块做初步去噪处理，得到预处理后的图像对im_p1和im_p2；利用光流估计模块对图像对im_p1和im_p2进行运动估计，得到光流估计结果flow；把噪声图像im_n2按照光流估计结果flow做变换得到图像im_n2’，再将图像im_n2’和噪声图像im_n1作为去噪模块的输入图像，得到噪声图像im_n1对应的最终去噪图像im_dn。

所述输入噪声图像im_n1和im_n2是包含噪声的视频中相邻两帧图像。

所述样本数据集的数量不少于20000，其中每个样本中包括视频中相邻两帧噪声图像n1和n2，噪声图像n1和n2对应的标准清晰图像p1和p2，图像对p1和p2对应的光流估计结果f。

所述深度网络模型的具体训练方法是利用样本数据集中的相应数据，首先单独训练预处理模块；然后固定预处理模块的相关参数，同时训练预处理模块和光流估计模块；最后固定预处理模块和光流估计模块的相关参数，整体训练包含三个模块的深度网络模型。

所述预处理模块、光流估计模块和去噪模块采用Encoder-Decoder网络结构。

所述Encoder-Decoder网络结构包括编码Encoder部分和解码Decoder部分，其中编码Encoder部分包括M层卷积层，解码Decoder部分包括M个子网络，每个子网络包括1个反卷积层和N个卷积层，解码Decoder部分的每个子网络层作反卷积时，调用编码Encoder部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入。

使用Caffe深度学习框架对所述深度网络模型进行训练。

本发明有益效果：