[发明专利]数据处理方法、数据识别和学习方法及其装置和计算机可读介质

说明书

本发明提供了一种数据处理方法、数据识别和学习方法及其装置。数据处理方法包括：通过聚类的方式将样本数据划分为多个编组；检查所述多个编组中每个编组是否存在正类标识数据，并删除不包含正类标识数据的编组；确定所述多个编组中正类标识数据的总数量；确定所述正类标识数据的总数量在所述样本数据中所占比例是否大于预定阈值；在所述比例大于所述预定阈值的情况下，保留进行步骤(b)处理后的数据。上述方案可高精度地获得模型学习所需数据。

技术领域

本发明涉及数据处理领域，具体涉及一种数据处理方法、数据识别和学习方法及其装置和计算机可读介质。

背景技术

在数据挖掘或机器学习过程中，对于有监督学习模型标识的分类识别至关重要。然而，在该识别过程中存在着正类量级和反类量级比率失调验证的情况。因此，如果不对样本数据进行预处理，只通过简单的模型识别，很有可能导致精度下降等问题发生。

现有的数据预处理包括离群点处理、欠采样和过采样等。然而，这些技术同样存在着各种问题。例如，离群点处理通过数据分布趋势或集中情况将偏离的数据点进行特殊处理，这可能导致反类数据误删除等情况发生，特别是例如在风险用户的特征数据必然出现离群现象的情况下。通过欠采样或过采样的方式虽然可在各个分类的量级层面对数据进行处理，但仍无法解决正类数据特征覆盖反类特征的影响，同时还打破了采样的随机性。

因此，需要一种用于对数据进行预处理以解决上述问题中的至少一些问题的数据处理方法及其装置。

发明内容

为了解决上述问题中的至少一些，本发明实施例提供了一种数据处理方法、数据识别和学习方法及其装置，以高精度地获得所需数据。

根据本发明的一个方案，提供了一种数据处理方法，包括：

(a)通过聚类的方式将样本数据划分为多个编组；

(b)检查所述多个编组中每个编组是否存在正类标识数据，并删除不包含正类标识数据的编组；

(c)确定所述多个编组中正类标识数据的总数量；

(d)确定所述正类标识数据的总数量在所述样本数据中所占比例是否大于第一预定阈值；以及

(e)在所述比例大于所述第一预定阈值的情况下，保留进行步骤(b)处理后的数据。

根据本发明的另一方案，提供了一种用于模式识别和学习的方法，包括：基于上述数据处理方法获得样本数据的经处理的多个编组；以及基于所述样本数据的经处理的多个编组来执行模式识别和学习。

根据本发明的另一方案，提供了一种数据处理装置，包括：

编组划分模块，用于通过聚类的方式将样本数据划分为多个编组；

数据检查模块，用于检查所述多个编组中每个编组是否存在正类标识数据；

数据删除模块，用于删除不包含正类标识数据的编组；

数据数量确定模块，用于确定所述多个编组中正类标识数据的总数量；

数据比例确定模块，用于确定所述正类标识数据的总数量在所述样本数据中所占比例是否大于第一预定阈值；以及

数据保留模块，用于在所述比例大于所述第一预定阈值的情况下，保留所述数据删除模块处理后的数据。

根据本发明的另一方案，提供了一种用于模式识别和学习的装置，包括：

数据编组获取模块，用于从上述数据处理装置获得样本数据的经处理的多个编组；以及

识别和学习子模块，用于基于所述样本数据的经处理的多个编组来执行模式识别和学习。

根据本发明的另一方案，提供了一种数据处理装置，包括：