[发明专利]一种不合规数据的修复方法、数据处理设备及存储介质

说明书

技术领域

本发明涉及电子技术领域，尤其涉及一种不合规数据的修复方法、数据处理设备及存储介质。

背景技术

在数据统计分析领域中需要大量的基础数据，目前，可以在移动终端中安装SDK(Software Development Kit，软件开发工具包)，将SDK作为数据采集端来采集数据，对SDK采集的数据进行数据处理之后，可以进行统计分析。

在数据处理阶段，需要对数据进行合法性校验。合法性校验是指判断数据是否符合预设条件，例如：判断数据采集端采集的数据是否为预设时间段内产生的数据；对于符合预设条件的数据，认定为是合规数据，对于不符合预设条件的数据，认定为是不合规数据。对于校验通过的合规数据可以进行后续的数据处理，对于校验未通过的不合规数据则舍弃。然而，对于合法性校验未通过的不合规数据，有时只是因为数据采集端埋点错误导致的某一个或某几个字段错误或者缺失造成的，而这些字段的值在当前场景下是可知的。

在现有技术中，因埋点错误被认定为不合规数据的数据不能被回收利用，这部分不合规数据往往会为后续的数据处理带来以下问题：

(1)数据被大量废弃。由于数据采集端通常是移动终端中安装的SDK，某一版本的SDK一旦发布，即便发现埋点错误，也难以回收因埋点错误造成的不合规数据，即使后续修复该埋点错误的问题，也无法挽救已经发布的SDK已经造成的问题。

(2)持续影响统计结果。由于问题(1)的原因，将进一步导致数据统计的计算结果不准确，而这往往是持续性的，如果无法修复这部分因埋点错误造成的不合规数据，将对计算结果产生巨大的消极影响。

发明内容

本发明的主要目的在于提出一种不合规数据的修复方法、数据处理设备及存储介质，旨在解决现有技术中，因埋点错误造成的不合规数据不能被有效回收利用的问题。

为实现上述发明目的，本发明采用下述的技术方案：

本发明提供了一种不合规数据的修复方法，所述方法包括：接收数据采集端采集的数据；根据所述数据中的不合规数据，判断所述采集端是否埋点错误；如果埋点错误，则设置数据修复规则；根据所述数据修复规则，修复所述数据中的不合规数据。

可选地，在所述接收数据采集端采集的数据之后，所述方法还包括：对数据采集端根据预设的埋点字段采集的数据进行合法性校验；将合法性校验未通过的数据作为不合规数据并存储，将合法性校验通过的数据作为合规数据并存储。

可选地，所述设置数据修复规则，包括：通过分析所述不合规数据，确定待修复字段；所述待修复字段包括：所述埋点字段中的缺失字段和/或错误字段；根据所述待修复字段，设置数据修复规则。

可选地，所述根据所述数据修复规则，修复所述数据中的不合规数据，包括：根据所述数据修复规则，将埋点错误造成的不合规数据修复为合规数据，并将修复出的合规数据与其他合规数据一同存储。

可选地，所述根据所述数据修复规则，修复所述数据中的不合规数据，包括：对已经存储的不合规数据进行分类；获取属于预设分类的不合规数据；根据所述数据修复规则，将埋点错误造成的不合规数据修复为合规数据，并将修复出的合规数据与其他合规数据一同存储。

本发明提供了一种数据处理设备，所述数据处理设备包括处理器、存储器；所述处理器用于执行存储器中存储的不合规数据的修复程序，以实现以下步骤：接收数据采集端采集的数据；根据所述数据中的不合规数据，判断所述采集端是否埋点错误；如果埋点错误，则设置数据修复规则；根据所述数据修复规则，修复所述数据中的不合规数据。

可选地，在所述接收数据采集端采集的数据之后，所述处理器还用于执行存储器中存储的不合规数据的修复程序，以实现以下步骤：对数据采集端根据预设的埋点字段采集的数据进行合法性校验；将合法性校验未通过的数据作为不合规数据并存储，将合法性校验通过的数据作为合规数据并存储。

可选地，所述处理器还用于执行存储器中存储的不合规数据的修复程序，以实现以下步骤：通过分析所述不合规数据，确定待修复字段；所述待修复字段包括：所述埋点字段中的缺失字段和/或错误字段；根据所述待修复字段，设置数据修复规则。

可选地，所述处理器还用于执行存储器中存储的不合规数据的修复程序，以实现以下步骤：根据所述数据修复规则，将埋点错误造成的不合规数据修复为合规数据，并将修复出的合规数据与其他合规数据一同存储。

本发明提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的不合规数据的修复方法。