[发明专利]基于张量的视频快照压缩成像恢复方法

权利要求书

1.一种基于张量的视频快照压缩成像恢复方法，其特征在于，包括如下：

(1)输入压缩数据帧Y和掩码张量其中，压缩数据帧掩码张量压缩数据帧为F个连续视频帧的第f帧，1≤f≤F，作为三阶张量视频数据的第f个正面切面，为与第f帧视频相对应的掩码矩阵，其为0和1构成的稀疏矩阵，作为三阶掩码张量的第f个正面切面，n₁和n₂分别表示每一帧视频帧的长和宽，⊙表示基于元素的矩阵乘积，为噪声；

(2)利用压缩数据帧Y和掩码张量自适应计算压缩数据帧Y对应的噪声方差

(3)基于(1)中的压缩数据帧Y和掩码张量c以及(2)得到的噪声方差利用非局部相似块张量恢复方法，计算三阶目标张量的初步估计张量

3a)利用非局部相似块张量，以加权张量核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数其中为待恢复的目标张量，为辅助张量，为拉格朗日乘子张量；增广拉格朗日目标函数表示如下：

其中，为目标张量，为辅助张量，为拉格朗日乘子张量，表示由三阶张量得到的N₁个非局部相似块张量的第i个张量，1≤i≤N₁，表示从辅助张量到尺寸为n₁×n₂的压缩帧的压缩映射操作，为三阶辅助张量的第f个正面切面，为三阶掩码张量的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n₁和n₂分别表示每一视频帧的长和宽，F表示被压缩的视频帧数，⊙表示基于元素的矩阵乘积，||·||_wt,*表示三阶张量的加权核范数，||·||_F表示三阶张量的Frobenius范数，η为平衡目标函数函数的第一项和第二项的参数，ρ为惩罚因子；

由三阶张量得到的N₁个非局部相似块张量的第i个三阶张量通过如下步骤求解：

第一步，将三阶张量χ划分为N₁个重叠的中心块矩阵B_i，1≤i≤N₁，每个中心块矩阵B_i的大小为d₁×d₂；

第二步，以每个中心块矩阵B_i，1≤i≤N₁，为中心建立一个尺寸为L₁×L₂×T₁的搜索窗，这里L₁和L₂表示一个视频帧内的空间上窗口的大小，T₁表示跨视频帧时间上的窗口大小；

第三步，在搜索窗内找出每个中心块矩阵B_i的M₁-1个非局部相似块矩阵，将每个中心块矩阵和其M₁-1个非局部相似块矩阵按照正面切面排列得到三阶张量1≤i≤N₁，其中，三阶张量的第一个正面切面为其中心块矩阵B_i；

3b)初始化目标函数中的平衡参数η和惩罚因子ρ，初始化目标图像辅助变量和拉格朗日乘子张量均为全零三阶张量，其中，全零三阶张量定义为张量元素均为0的三阶张量；

3c)采用交替最小化方法对目标函数中的辅助变量目标张量和拉格朗日乘子张量进行交替迭代求解，得到对三阶目标张量视频数据的初步估计张量具体实现如下：

3c1)固定目标张量为拉格朗日乘子张量为将步骤3a)中的目标函数变为以下关于辅助变量的目标函数

其中，为第k-1轮迭代求解得到的目标张量第k-1轮迭代求解得到的拉格朗日乘子张量K₁为得到三阶目标张量视频数据的初步估计张量所需的最大迭代次数，表示从辅助张量到尺寸为n₁×n₂的压缩帧的压缩映射操作，n₁和n₂分别表示每一帧视频帧的长和宽，||·||_F表示三阶张量的Frobenius范数，ρ为惩罚因子；

3c2)按照目标目标函数最小原则求辅助变量得到第k轮迭代的辅助变量

3c3)固定辅助变量为3c2)得到的拉格朗日乘子张量为第k-1轮迭代得到的将步骤3a)中的目标函数求解目标张量转化为以下最小化问题：

其中，表示由三阶目标张量得到的N₁个非局部相似块张量的第i个张量，1≤i≤N₁，表示由三阶张量得到的N₁个非局部相似块张量的第i个张量，1≤i≤N₁，由三阶张量构造相似块张量的方法与构造相似块三阶张量的方法相同，||·||_wt,*表示三阶张量的加权核范数；

3c4)对每个相似块张量进行张量奇异值分解其中，张量其中为相似块张量的奇异值对角张量，和为两个正交张量，表示的共轭转置，·表示两个张量的t-积，对于任意两个三阶张量和其t-积为：定义三阶张量第q行第w列的元素为：

其中，表示管向量和的循环卷积；

3c5)将相似块张量的奇异值对角张量沿着其第三维进行傅里叶变换，并对傅里叶变换后的张量进行块对角化操作，得到奇异值对角张量的频域块对角化矩阵

3c6)将每个奇异值对角张量的频域块对角化矩阵向量化为向量形式对向量e_i进行软判决操作，得到估计向量估计向量的第p个元素为为：

其中，表示软判决函数，其数学表达式为：

其中，e_ip表示向量e_i的第p个元素，1≤p≤d₁M₁d₂M₁，为与e_ip对应的阈值，常量ε＝10^-6，为步骤2所求噪声方差，d₁、d₂和M₁分别为非局部相似块矩阵的行、列和个数；

3c7)将每个估计向量依次进行反对角化和反傅里叶变换，得到估计张量为：

其中，和是相似块张量进行张量奇异值分解得到的两个正交张量，为估计向量依次进行反对角化和反傅里叶变换得到的估计张量；

3c8)利用N₁个相似块估计张量进行重构得到第k轮迭代的目标张量

3c9)更新辅助变量

其中，第k轮迭代求解得到的目标张量为第k轮迭代求解得到的辅助变量为第k-1轮迭代求解得到的拉格朗日乘子张量

3c10)令k＝k+1，迭代执行上述步骤3c1)-3c9)，直到迭代次数k等于得到初步估计所需的最大迭代次数，即k＝K₁，将作为三阶张量视频数据的初步估计

(4)基于视频数据的初步估计和掩码张量利用非局部相似块矩阵恢复方法，得到对三阶目标张量视频数据的细节补全后的最终估计张量

4a)利用非局部相似块矩阵，以加权矩阵核范数作为约束，得到交替方向乘子法框架下的增广拉格朗日目标函数其中为待恢复的目标张量，为辅助张量，为拉格朗日乘子张量；增广拉格朗日目标函数表示如下：

其中,为目标张量，为拉格朗日乘子张量，为辅助变量，η为平衡目标函数的第一项和第二项的参数，ρ为惩罚项因子，||·||_w,*表示矩阵的加权核范数，||·||_F表示三阶张量的Frobenius范数，A_h表示由三阶张量构成的第h个非局部相似块矩阵，1≤h≤N₂，表示从三阶张量到尺寸为n₁×n₂的压缩帧的压缩映射操作，为三阶张量的第f个正面切面，为三阶掩码张量的第f个掩码矩阵，其元素为0和1构成的稀疏矩阵，1≤f≤F，n₁和n₂分别表示每一视频帧的长和宽，F表示被压缩的连续视频帧数，⊙表示基于元素的矩阵乘积；由三阶目标张量得到的N₂个非局部相似块矩阵的第h个矩阵A_h，通过如下步骤求解：

第一步，将三阶张量分为N₂个重叠的大小为d₃×d₄中心块，每个中心块用列向量a_h∈d₃d₄表示，1≤h≤N₂；

第二步，以每个中心块向量a_h，1≤h≤N₂，为中心建立一个尺寸为L₃×L₄×T₂的搜索窗，其中，L₃×L₄表示一个视频帧内的空间上窗口大小，T₂表示跨视频帧时间上的窗口大小；

第三步，在搜索窗内找出每个中心块向量a_h的M₂-1个非局部相似块，将每个中心块向量和其M₂-1个非局部相似块按列排列得到相似块矩阵其中，相似块矩阵A_h的第一列为其中心块向量a_h；

4b)采用交替最小化方法对目标函数中的辅助张量目标张量和拉格朗日乘子张量进行交替迭代求解，得到对三阶目标张量视频数据的最终估计张量最终得到快照压缩恢复的图像，具体实现如下：

4b1)固定目标张量为拉格朗日乘子张量为将步骤4a)中的目标函数变为以下关于辅助变量的目标函数

其中，为第k-1次迭代求解得到的目标张量为第k-1轮迭代求解得到的拉格朗日乘子张量K₁+1≤k≤K₂，K₁为初步估计所需的最大迭代次数，K₂为总的最大迭代次数，ρ为惩罚项因子，||·||_F表示三阶张量的Frobenius范数，表示从三阶张量到尺寸为n₁×n₂的压缩帧的压缩映射操作，n₁和n₂分别表示每一视频帧的长和宽；

4b2)按照目标函数最小原则求辅助变量得到第k轮迭代的辅助变量

4b3)根据4b2)得到的辅助变量第k-1轮得到的拉格朗日乘子张量和4a)中的目标函数求解目标张量为第k轮迭代需要求解的目标张量其求解过程为固定辅助变量为拉格朗日乘子张量为由目标函数求解目标张量转化为以下最小化问题：

其中，表示矩阵的加权核范数，η为平衡参数；

4b4)由三阶张量构造N₂个非局部相似块矩阵由构造非局部相似块矩阵R_h的方法与目标张量构造相似块矩阵A_h的方法相同；

4b5)对每个相似块矩阵R_h，1≤h≤N₂，进行矩阵奇异值分解得到相似块矩阵R_h的奇异值对角矩阵其中，和为两个正交矩阵，表示V_h的共轭转置；

4b6)对每个相似块矩阵R_h的奇异值对角矩阵Σ_h，1≤h≤N₂，进行软判决操作得到与相似块矩阵对应的估计矩阵

其中，和为4b5)所述矩阵R_h奇异值分解得到的两个正交矩阵，表示对奇异值对角矩阵Σ_h进行软判决得到的矩阵，其第j个主对角元素为S_w(Σ_h)_jj：

S_w(Σ_h)_jj＝max(Σ_hjj-w_j,0)，1≤j≤min(d₃d₄,M₂)，

其中，Σ_hjj表示奇异值对角矩阵的第j个主对角元素，为第j个阈值，σ_j(A_h)为相似块矩阵A_h的第j个奇异值，0≤j≤min(d₃d₄,M₂)，常量ε为10^-6，M₂为相似块矩阵的个数；

4b7)利用N₂个估计矩阵进行重构得到第k轮迭代的目标张量

4b8)更新辅助变量

其中，第k轮迭代求解得到的目标张量为第k轮迭代求解得到的辅助变量为第k-1轮迭代求解得到的拉格朗日乘子张量

4b9)令k＝k+1，迭代执行上述步骤4b1)-4b8)，直到迭代次数k达到总的最大迭代次数K₂，即k＝K₂，得到目标张量视频数据的最终估计最终得到快照压缩恢复的图像。

2.根据权利要求1所述的方法，其特征在于，(2)中利用压缩数据帧Y和掩码张量自适应计算压缩数据帧Y对应的噪声方差具体实现如下：

第一步，判断在处理压缩数据帧Y之前是否已处理过同类大小压缩数据帧并已获得Y₀的最优初始噪声方差若是，执行第二步，否则，执行第三步；

第二步，通过Y₀的最优初始噪声方差计算压缩数据帧Y对应的初始噪声方差为：

其中，Y_ij表示压缩数据帧中第i行第j列的元素，Y_0ij表示压缩数据帧中第i行第j列的元素，1≤i≤n₁，1≤j≤n₂，n₁和n₂分别表示每一数据帧的长和宽，B＝αF，α表示三阶掩码张量中元素1所占的百分比，0＜α＜1，F表示被压缩的视频帧数，为已处理过的压缩数据帧Y₀对应的最优初始噪声方差；

第三步，利用压缩数据帧Y，对其噪声方差参数采用多次赋值测试，选择性能最好的赋值作为压缩数据帧Y的初始噪声方差