[发明专利]一种数据修复方法及装置

说明书

本发明实施例公开了一种数据修复方法及装置，所述方法包括：首先获取至少存在一个异常数据的第一异常数据向量集；进一步获取具有与所述第一异常数据向量集互为同型向量的z个第一参考数据向量集；接着确定所述第一异常数据向量集中每一个异常数据对应的异常数据位；之后，根据所确定的异常数据位，基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。

技术领域

本发明涉及大数据分析技术领域，尤其涉及一种数据修复方法及装置。

背景技术

目前各大数据服务平台均围绕数据采集、数据挖掘、数据应用及数据共享，在包括环保、安全、健康等众多领域推出产品和服务。在以车辆网相关的大数据支持与应用服务为例来说，由于数据采集的准确性受诸多因素的影响，数据异常的情况时有发生。相关技术中，为了实现异常数据的修复，通常采用线性插值法或数据点平滑处理算法。

然而，相关技术中的数据修复算法存在如下明显的缺陷：1)算法不够成熟，修复准确性低；2)算法执行时间长，不稳定；3)很多异常数据不能识别或识别不准确。

发明内容

本发明实施例为了有效克服现有数据修复算法的缺陷，创造性地提供一种数据修复方法及装置。

根据本发明的第一方面，提供一种数据修复方法，所述方法包括：获取至少存在一个异常数据的第一异常数据向量集A_mn，m，n均为大于等于2的正整数；获取具有与所述第一异常数据向量集A_mn互为同型向量的z个第一参考数据向量集B_mn^(z)，z为大于等于2的正整数；确定所述第一异常数据向量集中每一个异常数据对应的异常数据位；根据所确定的异常数据位，基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。

根据本发明一实施方式，其中，根据所确定的异常数据位，基于所述z个第一参考数据向量集对所述第一异常数据向量集进行修复，包括：根据所确定的异常数据位省略所述第一异常数据向量集中与所述异常数据位对应的行向量和列向量，得到第二异常数据向量集；根据所确定的异常数据位分别省略所述z个第一参考数据向量集中与所述异常数据位对应的行向量和列向量，得到z个第二参考数据向量集；确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度；基于所述每一个第二参考数据向量集与第二异常数据向量集之间的相关度，利用所述z个第一参考数据向量集对所述第一异常数据向量集进行修复。

根据本发明一实施方式，其中，确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度，包括：针对所述z个第二参考数据向量集中每一个第二参考数据向量集，分别计算每一个第二参考数据向量集与第二异常数据向量集之间的余弦相似度；根据所计算的每一个第二参考数据向量集与第二异常数据向量集之间的余弦相似度大小确定每一个第二参考数据向量集与第二异常数据向量集之间的相关度。

根据本发明一实施方式，其中，确定所述z个第二参考数据向量集中每一个第二参考数据向量集与第二异常数据向量集之间的相关度，包括：针对所述z个第二参考数据向量集中每一个第二参考数据向量集，分别计算每一个第二参考数据向量集与第二异常数据向量集之间的距离；根据所计算的每一个第二参考数据向量集与第二异常数据向量集之间的距离大小确定每一个第二参考数据向量集与第二异常数据向量集之间的相关度。

根据本发明一实施方式，其中，基于所述每一个第二参考数据向量集与第二异常数据向量集之间的相关度，利用所述z个第一参考数据向量集对所述第一异常数据向量集进行修复，包括：根据所述异常数据位分别从所述z个第一参考数据向量集中获取对应异常数据位的数据；将每一个第二参考数据向量集与第二异常数据向量集之间的相关度对应作为从每一个第二参考数据向量集所获取的对应异常数据位的数据的加权因子，将所有获取的对应异常数据位的数据进行加权平均，得到加权平均值；将所述加权平均值作为对应所述第一异常数据向量集对应异常数据位的修复数据来修复所述第一异常数据向量集中的异常数据。