[发明专利]基于生成网络和低秩正则的视频压缩感知恢复方法及系统

说明书

本发明提供了基于生成网络和低秩正则的视频压缩感知恢复方法及系统。方法获取图像组恢复图像序列的过程为：生成网络使用低秩隐张量初始迭代生成初始恢复图像序列；生成网络包括N个下采样模块、N个上采样模块和N个空频注意力模块；获得非关键帧中每个patch的相似patch位置信息；生成网络使用低秩隐张量进行增强迭代以对非关键帧进行增强恢复，在每次增强迭代中，通过非关键帧中patch的相似patch位置信息获取增强迭代损失；组合关键帧初始恢复图像和非关键帧增强恢复图像获得恢复图像序列。利用时空相关性对关键帧通过初始迭代恢复，利用帧问时间相关性对非关键帧进行增强恢复，恢复图像不具有块效应，清晰且视觉效果好。

技术领域

本发明涉及视频恢复技术领域，尤其涉及基于生成网络和低秩正则的视频压缩感知恢复方法及系统。

背景技术

视频信号通常具有较大的时空冗余，适合利用压缩感知技术进行数据采集与恢复。目前图像压缩感知方法主要利用图像内部的空间相关性，可以用于对视频序列进行逐帧恢复，但是这种方式会忽略视频序列中的时间相关性。一些传统的视频压缩感知方法(如KTSLR)设计了三维稀疏先验模型，同时恢复多个连续帧。还有一些方法(如MC/ME(文献一)、Video-MH(文献二)和RRS(文献三))首先进行逐帧的初始恢复，然后通过运动估计与运动补偿来提升性能。这些方法能够很好地利用视频序列的时空相关性，但是手工设计的模型以及手动挑选的参数通常会限制这些传统方法的性能。基于深度学习的方法通常能够获得更好的性能，例如VCSNet(文献四)以端到端的方式实现了测量网络与恢复网络的联合训练，并取得了当前最好的性能。但是基于深度学习的方法通常需要大型的训练数据集进行训练，而准备数据集在某些实际应用场景中可能并不容易。

深度图像先验(deep image prior，DIP)表明一个未训练的生成网络本身的结构能够作为一个用于图像恢复的先验信息，为图像恢复提供了一种新的方式，既不需要训练数据，也没有太多手工设计的参数。在现有图像压缩感知领域中出现了通过将DIP与额外的正则进行结合，取得了不错的恢复性能。DIP弥补了需要训练的方法和无需训练的方法之间的差距，在视频压缩感知恢复方面展现了极大的潜力。目前虽然已有尝试将DIP拓展用于视频序列恢复的现有技术，但现有的基于深度图像先验的生成网络提取特征能力有限，并且使用的正则没有深入挖掘视频帧序列间的时间相关性，导致恢复的视频清晰度低，视觉效果差。

文献说明：

文献一：S.Mun，J.E.Fowler.Residual reconstruction for block-basedcompressed sensing of video[C]，Proceedings of the IEEE Data CompressionConference(DCC).Snowbird，UT：IEEE，2011：183-192.

文献二：E.W.Tramel，J.E.Fowler.Video compressed sensing withmultihypothesis[C]，Proceedings of the IEEE Data Compression Conference(DCC).Snowbird，UT：IEEE，2011：193-202.

文献三：C.Zhao，S.Ma，J.Zhang，et al.Video compressive sensingreconstruction via reweighted residual sparsity[J].IEEE Transactions onCircuitsand Systems for Video Technology,2017，27(6)：1182-1195.

文献四：W.Shi，S.Liu，F.Jiang，et al.Video compressed sensing using aconvolutional neural network[J].IEEE Transactions on Circuits and Systems forVideo Technology，2021，31(2)：425-438.