[发明专利]批量数据的处理方法和装置

说明书

本发明为安全检测技术领域，本发明提供一种批量数据的处理方法和装置，所述方法包括接收若干个批量数据文件，获取所述批量数据文件的属性信息；根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。该方法有利于保证数据的处理效率，最终保证数据的处理质量。

技术领域

本发明涉及数据处理技术领域，具体而言，本发明涉及一种批量数据的处理方法和装置。

背景技术

随着互联网大数据技术的发展，服务器所要处理的数据量会爆发式增长，同时，具数据处理、存储、查询等功能的服务器系统也逐渐发展为多级分功能模块的处理系统。如何服务器系统的功能模块之间如何进行数据同步处理变得尤为重要。

为了做到这一点，现有的做法是在数据处理的闲时，如凌晨12点，对服务器系统内各个功能模块之间的数据进行同步处理。但是，在同步的过程中通常以所有需要同步的数据一同进行同步处理，无益于服务器系统的功能模块之间的同步处理效率和数据质量。

发明内容

为克服以上技术问题，特别是现有技术中将所有需要同步的数据一同进行同步处理不利于服务器系统的功能模块之间的同步处理效率和数据质量的问题：

第一方面，本发明提供一种批量数据的处理方法，其包括以下步骤：

接收若干个批量数据文件，获取所述批量数据文件的属性信息；

根据批量数据文件存储的匹配规则，根据所述批量数据文件的属性信息将其中的数据信息存储至各数据表中；

根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息。

在其中一个实施例中，所述根据所述数据信息获取特征字节，对应所述特征字节逐条对应覆盖数据表的对应数据信息的步骤，包括：

根据数据信息索引，依据所述数据信息提取对应的特征字节；

将每一数据信息的特征字节与数据表中的原数据信息进行比对；

根据比对的结果，将所述数据信息覆盖数据表的对应数据信息。

在其中一个实施例中，所述属性信息是对所述批量数据文件中的数据信息属于新增数据信息增和更新数据信息进行划分。

在其中一个实施例中，所述批量数据的处理方法还包括：

当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理；

根据所述数据信息的错误日志进行数据修正。

在其中一个实施例中，所述当检测所述数据表中存储的数据信息为异常状态时，根据所述数据信息查找对应的批量数据文件，并停止该批量数据文件进行数据处理的步骤，包括：

根据数据信息索引，当检测到无法从所述数据表中存储的数据信息解析得到所述数据信息索引对应的相关内容时，则判断所述数据信息为异常状态；

根据所述数据信息查找得到其对应的批量数据文件，并停止该批量数据文件进行数据处理。

在其中一个实施例中，所述根据所述数据信息的错误日志进行修正的步骤包括：

根据错误日志获取对应的数据信息的异常字节；

将所述异常字节对应于所述数据信息索引相应的字节，对所述异常字节进行修正。

在其中一个实施例中，所述根据所述批量数据文件存储的匹配规则，将对应所述批量数据文件的属性信息将其中的数据信息存储至各数据表中的步骤还包括：