[发明专利]基于张量稀疏约束的光场填充方法及装置

说明书

基于张量稀疏约束的光场填充方法及装置，避免向量化、引入超分辨率重建技术使光场内部的相关特性被最大程度地利用，得到客观表现良好的填充光场，给用户更好的视觉体验。方法包括：(I)对丢失部分信息的光场进行滑窗采样、搜索相似块并堆叠，利用基于张量稀疏约束的光场填充模型填充得到的五维张量，再将其中的图像块分别置回光场原始索引处，得到填充的光场；(II)对(I)中得到的光场、与对前者进行超分辨率重建得到的高分辨率光场都进行滑窗采样；将后者得到的图像块投影为前者相同大小的块，相似度排序得到由两者组成的五维张量，对其使用基于张量稀疏约束的光场填充模型填充，将其中原始大小的图像块置回原始索引处，得到填充的光场。

技术领域

本发明涉及图像处理的技术领域，尤其涉及一种基于张量稀疏约束的光场填充方法，以及基于张量稀疏约束的光场填充装置，主要用于高维图像填充。

背景技术

光场同时包含空间和角度信息，它可以更精确地表示光场。在探测、识别和计算机图像等问题中，光场都占据着十分重要的地位，它的应用十分广泛，能够应用在边缘检测、材质识别、图像重聚焦、虚拟现实等各项领域中。通过硬件获取的图像数据需要更高的维度才能更精确地表示场景，而想要得高维图像，要与直接对场景拍下一系列二维图像要不同。由于硬件的限制，想要得到高分辨率的光场仍是十分困难的。并且由于传感器的高灵敏度以及人们需要的高处理速度，获取的光场通常是低分辨率的，甚至会出现部分数据的丢失，而这限制了后续处理技术的发展。因此，光场的填充已成为一项重要的研究方向。

光场填充最直接的方法是将光场的每个视图(view)视为独立的二维图像，然后对每张图像用矩阵填充模型进行填充，矩阵填充模型主要有矩阵奇异值分解(singularvalue decomposition,SVD)和矩阵核范数最小化(nuclear norm minimization,NNM)。虽然这些算法是复原光场最简单的方法，但它们将光场视为一系列的二维图像的堆叠，打破了光场图像每个视图中的内部联系。

张量可以更好地表示光场内部的联系，所以研究人员也会使用张量表示光场，光场的填充问题即为张量的填充问题，张量的填充算法同样可以应用到光场填充问题中。这种填充方法可以被分为两类，一类是基于张量秩的最小化算法，一类是基于张量分解的算法。前者使用最小化张量秩进行填充，典型的算法有HaLRTC[1]，[2]与[3]。这种方法可以被视为是二维矩阵低秩化填充方法的一般化形式，它利用了秩的特性并且通过最小化秩进行填充。然而，与二维矩阵不同，张量的秩没有明确的定义，而直接最小化张量秩也是一个NP-hard问题。所以部分张量填充方法也会利用与原张量近似的低秩张量去解决这个问题。HaLRTC[1]提出了张量迹范数的定义，它是一种泛化的矩阵迹范数，最后通过ADMM框架进行求解。HaLRTC[2]提出了随机高斯测度(random Gaussian measurements)的几个理论界测度(theoretical bounds)处理低秩张量的恢复问题。HaLRTC[3]以张量的阶数n作为稀疏度，通过求满足线性约束的最低n阶张量来解决张量填充问题。基于低秩的张量填充方法通常需要大量的计算，需要花费十分多的资源。后者的张量填充则是基于张量分解，通常利用了CP(CANDECOMP/PARAFAC)分解或Tucker分解。基于CP分解的张量填充算法中，最具代表性的算法有CPWOPT，FBCP和NCCP。CPWOPT为一个用于张量填充的加权优化算法。FBCP以一个分层概率模型，通过全贝叶斯处理，自动找到合适的张量秩，并在此秩的约束下填充张量。NCCP为一种基于CP分解的张量填充算法，它利用了因子矩阵核范数最小化进行填充。基于Tucker分解的张量填充算法中，比较代表性的有Tucker[1]和STDC。Tucker[1]建立了一个优化问题并以非线性共轭梯度(Nonlinear Conjugated Gradient)进行求解。STDC将秩最小化与Tucker分解模型结合，构建出新的模型，求解填充问题。虽然这些方法都能对光场进行填充，但是它们默认光场的所有模都共享相同的权重，忽略了张量沿模的区别性。