[发明专利]一种数据检测方法和装置

说明书

本申请实施例提供一种数据检测方法和装置，涉及大数据领域，能够解决高维情况下不能检测出错误数据和在定位错误数据的特征组合时的规则可扩展性差的问题。其方法为：服务器将多个数据聚类为簇，获取各簇的关键特征和度量标准，以便根据各簇的关键特征和度量标准获取多个数据属于各簇的概率；然后，服务器可以根据多个数据分别属于具有相同关键特征的多个簇的概率识别出多个簇下存在的错误数据，并且服务器从多个簇的关键特征开始搜索，以确定错误数据对应的特征组合。本申请实施例应用于对低维或高维的错误数据进行检测和纠正的场景。

技术领域

本申请涉及大数据领域，尤其涉及一种数据检测方法和装置。

背景技术

大数据技术是一种可以从各种各样类型的数据中，快速获得有价值信息的技术。但是如果将错误的数据输入计算机系统，计算机自然也只会输出错误、无意义的结果，所以数据质量很重要。一般而言，导致某条数据错误的原因可分为两类：第一是单个特征的取值错误。比如，某条用户数据中有一维特征是“当月总流量”，其值为“200G”，明显偏离一般情况。第二是多特征间的不一致问题。比如，某用户数据的特征“城市”与“区域”的值分别为“深圳”、“故宫”。虽然“深圳”或“故宫”单独而言，其取值不存在问题，但组合在一起后便出现矛盾——“故宫在深圳”与事实不相符。实际问题中，导致数据错误的原因多为后者。

要保证数据质量，首先要检测出错误数据，现有技术中提出了一种聚类算法来检测错误数据。其大概流程为：通过计算数据点到各聚类中心之间的距离，将数据划分成不同的簇。对于到各聚类中心的距离远大于阈值的离群点判定为错误数据。如图1所示，被圈出的3个点就是离群点。

上述聚类算法擅长处理小规模数据与低维数据。可是，在大数据时代，随处可见千万级的海量数据与上万级的高维数据。于是，随着数据规模的增大，上述算法性能急剧下降；更严重的是遇到高维数据时，经典聚类算法容易失效。失效的主要原因是“维度灾难”：由于高维数据分布的内在稀疏性，常用的距离度量和密度度量的有效性大大降低，数据点之间普遍存在“低相似性”。如图2a所示，当维度较低时，现有技术中的聚类算法可以将错误数据F、D顺利地检测出来。但当维度较高后，如图2b所示，该聚类算法无法将数据聚类成簇，所有数据都成为离群点，导致无法检测出错误数据。

要保证数据质量，还需要在通过聚类算法检测出错误数据后，进一步定位出导致其出错的具体原因，并进行纠正。现有技术在定位导致其出错的具体原因前需要先找出错误的特征组合，这就需要先列举出各种情况。比如，特征为城市、区域和终端品牌这3个特征的数据集有2³-1＝7种情况，分别是：(城市)、(区域)、(终端品牌)、(城市、区域)、(城市、终端品牌)、(区域、终端品牌)、(城市、区域、终端品牌)，此时间复杂度达到指数级别。列举出各种情况以后需要再根据不同数据集重新定义规则用于检验。比如，通过设定检验条件“当月缴费金额”＝“基本月租”+(超额的)“通话时间”×A+(超额的)“短信数”×B；或者维护一个“城市”与“区域”对应关系的词典等。对错误的特征组合进行纠正也类似，主要依靠各种预先定义了的规则。

实际问题中的特征总数很容易上万，因此对有多个特征的数据集列举出各种情况的效率极低。而且列举出各种情况后重新定义规则的过程中，需要人为编写规则，费时费力且成本高。与此同时，数据集的差异性导致规则较难复用，且依赖相应的领域知识，这就导致规则的可扩展性差。

发明内容

本申请实施例提供一种数据检测方法和装置，能够解决高维情况下不能检测出错误数据和在定位错误数据的特征组合时的规则可扩展性差的问题。