[发明专利]一种大数据离线计算数据质量校验方法和装置

摘要

本发明提供一种基于最终一致性的多系统间大数据质量校验方法及装置。通过将源数据集群落地到接口机集群，在落地过程中，对源数据集群计数，获得源数据集群计数。采集落地到接口机集群的数据，并存储到数据仓库，在所述采集过程中，对存储到数据仓库中的入库数据进行计数，获得入库数据计数，基于源数据计数和入库数据计数的最终一致性，校验多系统间大数据的传输质量。本发明无需中间校验的强一致性，只需校验数据源数据指标是否与最终入库数据指标是否一致，存储成本低，计算效率高，不会影响正常的数据流转效率。

主权项

一种基于最终一致性的多系统间大数据质量校验方法，其特征在于，所述方法包括如下步骤：将源数据集群落地到接口机集群；在所述落地过程中，对所述源数据集群计数，获得第一计数；按周期上报所述第一计数；采集所述落地到接口机集群的数据，并存储到数据仓库；在所述采集过程中，对存储到数据仓库中的入库数据进行计数，获得第二计数；按周期上报所述第二计数；对所述第一计数和第二计数进行对账校验。