[发明专利]缺失数据的恢复方法和装置

说明书

技术领域

本发明涉及数据处理领域，更具体地，涉及缺失数据的恢复方法和装置。

背景技术

在数据处理领域，一般都要求基于完整的数据来进行数据处理。

以数据的压缩技术为例，分为无损压缩和有损压缩两大类，基于主成分分析(PCA:Principle Components Analysis)的数据压缩算法是一种有损压缩算法，根据不同变量之间的线性相关性进行去冗余，从而实现数据降维和数据压缩。但是，目前的基于主成分分析的数据压缩算法，大多需要预先选取批量数据进行主成分分析，当新产生的数据不能被当前主成分很好地重构时，则需要进行主成分的更新。

也就是说，在由于数据传输错误等原因引起数据不完整的情况下，无法进行主成分分析，一般只能通过去除不完整数据部分，再进行主成分分析计算。但是这种简单的处理方式可能会造成部分数据模态的丢失，使得生成的主成分不准确，从而造成较大的重构误差。

此外，不仅是数据压缩技术，其他的数据处理技术也都存在这样的问题。

发明内容

本发明是鉴于以上问题而提出的，其目的在于提供能够利用已知数据实现新增数据中缺失数据的恢复的缺失数据的恢复方法和装置。

根据本发明的一方面，提供一种缺失数据的恢复方法，包括：获取多组数据和所述多组数据之外新增的一组数据；对所述多组数据所组成的数值矩阵进行奇异值分解或概率矩阵分解；确定所述新增的一组数据中缺失的数据的位置；使用上述奇异值分解或概率矩阵分解的结果和所述新增的一组数据计算关于缺失的数据的重构误差；根据重构误差最小化来求出缺失数据；以及将所求出的缺失数据恢复到所述新增的一组数据中缺失的数据的位置。

根据本发明的另一方面，提供一种缺失数据的恢复装置，包括：数据获取单元，其获取多组数据和所述多组数据之外新增的一组数据；矩阵分解单元，其对所述多组数据所组成的数值矩阵进行奇异值分解或概率矩阵分解；缺失位置确定单元，其确定所述新增的一组数据中缺失的数据的位置；重构误差计算单元，其使用所述矩阵分解单元的矩阵分解结果和所述新增的一组数据计算关于缺失的数据的重构误差；缺失数据求取单元，其对所述重构误差计算单元的结果，根据重构误差最小化来求出缺失数据；以及数据恢复单元，其将所述缺失数据求取单元求出的缺失数据恢复到所述新增的一组数据中缺失的数据的位置。

根据本发明的另一方面，提供一种计算机可读介质，其存储有计算机程序，当所述计算机程序被处理器执行时实现上述的缺失数据的恢复方法的步骤。

根据本发明的另一方面，提供一种计算机设备，包括：处理器；存储器，存储有能够在处理器上执行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述的缺失数据的恢复方法的步骤。

根据本发明，通过概率矩阵分解(Probabilistic Matrix Factorization,PMF)利用已知部分的数据进行迭代计算，能够根据已知部分的数据对新增数据中缺失的数据进行有效的估计和恢复。这样，不会造成部分数据模态的丢失。

附图说明

图1示出根据本发明的实施方式一的缺失数据的恢复方法的流程图。

图2示出根据本发明的实施方式二的缺失数据的恢复方法的流程图。

图3示出根据本发明的实施方式三的缺失数据的恢复装置的框图。

图4示出根据本发明的实施方式四的缺失数据的恢复装置的框图。

具体实施方式

以下，参照附图说明本发明的实施方式。

在数据处理领域，往往会随着时间的推移而不断有新数据的产生，本发明就是针对新产生数据中缺失的数据的恢复方法。在本发明中，对于多组数据和多组数据之外新增的一组数据，通过利用概率矩阵分解进行分析，来实现新增数据中缺失的数据的恢复。

此外，需要说明的是，在本发明中，多组数据是2组以上且各组分别包含多个数据的数据，所述多个数据的数据类型为数值型或能够转换为数值型的类型，进而每组数据的数据个数优选相同。再者，所述新增的一组数据与所述多组数据的数据类型和数据个数相同。

实施方式一

在本实施方式中，假定新增的数据中包含缺失的数据。

图1示出根据本发明的实施方式一的缺失数据的恢复方法的流程图。