[发明专利]一种融合张量填充和张量恢复的数据重建方法

说明书

技术领域

本发明涉及数据处理，尤其涉及一种融合张量填充和张量恢复的数据重建方法。

背景技术

随着科学技术的不断发展，人类社会已经步入了信息时代，大规模数据的分析与处理在当今的社会生活与科学研究中占据着越来越重要的地位。大数据在提供更加丰富的信息的同时，也大大增加了学习和研究数据的成本。更具挑战性的问题是，这些数据中往往含有空缺元素、大的误差、损毁等,即存在丢失和污染的问题，这为分析和处理这些大规模数据带来了进一步困难。

现有的方法都是将数据的丢失和受污染这两个问题分开考虑，分别研究相应的方法来解决这两个问题。基于目前研究，最为先进且效果最好的方法是充分考虑和挖掘大规模数据的多模式相关性，将大规模数据构建为张量形式，利用张量填充方法来处理数据丢失问题，利用张量恢复方法来处理数据受污染问题。在此，将数据填充与数据恢复统称为数据重建。下面，简要介绍一下张量填充和张量恢复。

张量填充又被称为张量丢失恢复。张量填充方法需要假设待填充的张量具有n模式低秩结构，目前张量填充算法主要有两类，一类是求迹范数最小化问题，另一类是解决基于张量分解的加权最优化问题。

对于第一类方法，刘霁等人最早提出了张量迹范数的概念，并转换为如下的优化问题：

其中，分别是在各个模式下具有相同维数的N阶张量，Ω指观测到的元素下标的集合，是按各个模式展开成的矩阵，a_i>0并且即为刘霁等人提出的张量迹范数，其为张量按各个模式展开后各个矩阵核范数的加权平均。

对于第二类方法，即基于张量分解的加权最优化方法也是目前张量填充理论的一类重要方法。其中比较典型的有EvrimAcar等人提出的基于平行因子分解模型的加权最优化算法，问题可以具体表现为如下公式

[[A⁽¹⁾,A⁽²⁾,…,A^(N)]]表示张量的平行因子分解模型，是与具有同样尺寸的加权系数张量，在数据丢失位置处为0，其它位置为1。这种方法避免了对张量的展开，可以很好地保持张量数据的结构。

张量恢复是要解决数据受到污染或破坏的问题。和张量填充方法一样，张量恢复方法也需要假定待恢复的张量具有n模式低秩结构，目前主流的张量恢复方法假定数据受到的污染是稀疏的，其优化问题表现为如下形式：

其中是在各个模式上具有相同维数的N阶张量，分别是张量按各个模式展开的矩阵，是张量的迹范数，是张量按第i模式展开矩阵的1范数，λ_i,η_i为正的加权系数。此式通过最小化待恢复张量的核范数和其按各个模式展开矩阵的1范数的加权和，利用优化算法将观测到的数据分解为一个n模式低秩张量和一个稀疏张量的和。限制条件是为了保证迭代过程与最终结果的n模式低秩张量和稀疏张量的和等于观测到的数据。

在介绍了张量填充和张量恢复之后，再对前文将数据丢失和数据受污染这两个问题分开处理的一些弊端进行论述。具体地，在当前的大规模的数据处理和分析当中，通常同时存在着数据的丢失与污染问题。目前的研究都是将这两个问题分开考虑，分别研究相应的方法来解决这两个问题。然而，这两个问题是相互关联的，当只考虑解决其中一个问题时，另一个问题的存在将严重影响这个问题的解决效果。比如，当只考虑如何估计丢失的数据时，比较简单和典型的方法是利用历史平均值来填充丢失的数据，而如果历史数据中存在着一些受到污染的数据，这将不可避免的严重影响丢失数据的估计结果，反之亦然。

因此，在处理和分析大规模数据时，最科学的方法是同时考虑数据的丢失和污染问题。

发明内容

本发明的目的是提供一种能够克服上述缺陷的融合张量填充和张量恢复的数据重建方法。

本发明提供了一种融合张量填充和张量恢复的数据重建方法，包括：分析待重建数据的多模式相关性，得出分析结果；根据所述分析结果将待重建数据构建为张量，所述张量中的元素同时遭受到数据丢失和数据污染，并且包含低秩部分和稀疏部分，所述低秩部分为真实数据并且由真实数据的多模式相关性决定，稀疏部分为噪声数据；基于张量的张量填充和张量恢复构建优化函数，张量填充对应数据丢失，张量恢复对应数据污染；将所述优化函数转换为可求解函数；以及对所述可求解函数进行求解，得出真实数据。

优选地，所述优化函数为：应满足: