[发明专利]一种针对视频图像的光流估计与去噪联合学习深度网络模型

权利要求书

1. 一种针对视频图像的光流估计与去噪联合学习深度网络模型系统，其特征在于：该联合深度学习网络模型系统包括三个模块：预处理模块、光流估计模块和去噪模块，首先利用样本数据集对深度网络模型进行训练；然后对输入的噪声图像im_n1和im_n2，利用预处理模块做初步去噪处理，得到预处理后的图像对im_p1和im_p2；利用光流估计模块对图像对im_p1和 im_p2进行运动估计，得到光流估计结果flow；把噪声图像im_n2按照光流估计结果flow做变换得到图像im_n2’，再将图像im_n2’和噪声图像im_n1作为去噪模块的输入图像，得到噪声图像im_n1对应的最终去噪图像im_dn；

所述样本数据集的数量不少于20000，其中每个样本中包括视频中相邻两帧噪声图像n1和n2，噪声图像n1和n2对应的标准清晰图像p1和p2，图像对p1和p2对应的光流估计结果f；

所述预处理模块、光流估计模块和去噪模块采用Encoder-Decoder网络结构。

2.根据权利要求1所述的针对视频图像的光流估计与去噪联合学习深度网络模型系统，其特征在于：所述输入噪声图像im_n1和im_n2是包含噪声的视频中相邻两帧图像。

3.根据权利要求1所述的针对视频图像的光流估计与去噪联合学习深度网络模型系统，其特征在于：所述深度网络模型的具体训练方法是利用样本数据集中的相应数据，首先单独训练预处理模块；然后固定预处理模块的相关参数，同时训练预处理模块和光流估计模块；最后固定预处理模块和光流估计模块的相关参数，整体训练包含三个模块的深度网络模型。

4.根据权利要求1所述的针对视频图像的光流估计与去噪联合学习深度网络模型系统，其特征在于：所述Encoder-Decoder网络结构包括编码Encoder部分和解码Decoder部分，其中 编码Encoder部分包括M层卷积层，解码Decoder部分包括M个子网络，每个子网络包括1个反卷积层和N个卷积层，解码Decoder部分的每个子网络层作反卷积时，调用编码Encoder部分对应的卷积层图像特征，上一层的输出结果作为下一层的输入。

5.根据权利要求3所述的针对视频图像的光流估计与去噪联合学习深度网络模型系统，其特征在于：使用Caffe深度学习框架对所述深度网络模型进行训练。