[发明专利]基于生成网络和低秩正则的视频压缩感知恢复方法及系统

权利要求书

1.基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，包括：

获取视频的压缩感知数据，所述视频被划分为多个图像组，每个图像组包括一个关键帧和多个非关键帧；

基于视频的压缩感知数据逐个获取图像组的恢复图像序列，获取单个图像组的恢复图像序列的过程包括：

生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列；所述生成网络包括依次连接的N个下采样模块和N个上采样模块，以及N个空频注意力模块；N个下采样模块和N个上采样模块一一对应且跳线连接，跳线上设有空频注意力模块跳接；N为正整数；

基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息；

生成网络继续使用低秩隐张量进行增强迭代以对初始恢复图像序列中的非关键帧进行增强恢复，获得非关键帧的增强恢复图像，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；

组合图像组的关键帧的初始恢复图像和图像组中非关键帧的增强恢复图像获得图像组对应的恢复图像序列。

2.如权利要求1所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，空频注意力模块的输入特征包括全局处理特征和局部处理特征；

空频注意力模块包括依次连接的全局平均池化层、第一全连接层和第一激活层，以及分别与第一激活层的输出端连接的全局分支和局部分支；

所述全局分支包括依次连接的第二全连接层、第二激活层、第一相乘单元、第一三维卷积批归一化激活模块、Real-2D-FFT模块、第二三维卷积批归一化激活模块、Inv-Real-2D-FFT模块、第一相加单元、第一三维卷积层、第二相加单元和第一批归一化激活模块，全局分支还包括与第一相乘单元的输出端连接的第二三维卷积层；

所述局部分支包括依次连接的第三全连接层、第三激活层、第二相乘单元、第三三维卷积层、第三相加单元和第二批归一化激活模块，局部分支还包括与第二相乘单元的输出端连接的第四三维卷积层；

第一相乘单元用于将全局处理特征与第二激活层输出的特征进行元素级相乘处理；

第一相加单元用于将Inv-Real-2D-FFT模块的输出特征与第一三维卷积批归一化激活模块的输出特征进行元素级相加处理；

第二相加单元用于将第四三维卷积层的输出特征与第一三维卷积层的输出特征进行元素级相加处理；

第二相乘单元用于将局部处理特征与第三激活层输出的特征进行元素级相乘处理；

第三相加单元用于将第二三维卷积层的输出特征与第三三维卷积层的输出特征进行元素级相加处理。

3.如权利要求1所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，生成网络使用低秩隐张量基于视频的压缩感知数据初始迭代生成图像组的初始恢复图像序列，具体包括：

生成网络利用低秩隐张量迭代生成初始恢复图像序列直到达到初始迭代停止条件，在每次初始迭代中，计算测量保真损失，以测量保真损失最小化为优化目标更新低秩隐张量和生成网络的网络参数。

4.如权利要求1-3之一所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，所述测量保真损失计算公式为：

其中，Q表示图像组的帧数；N_b表示视频每帧图像在分块压缩感知中划分的块数；Φ^j表示第j帧图像的块测量矩阵；表示第j帧图像的第i块的测量值；表示生成网络输出的第j帧图像；P_i(·)函数表示提取并向量化图像帧中第i块的算子。

5.如权利要求1-3之一所述的基于生成网络和低秩正则的视频压缩感知恢复方法，其特征在于，基于初始恢复图像序列进行帧间patch匹配获得非关键帧中每个patch的相似patch位置信息，具体包括：

将图像组的初始恢复图像序列和该图像组的相邻图像组的关键帧的初始恢复图像组成匹配序列；

在匹配序列中选取非关键帧的相邻帧作为非关键帧的参考帧；

在非关键帧上划分多个patch，非关键帧的每个patch在参考帧中获取k个相似patch，记录每个patch及其相似patch的位置信息，k为正整数。