[发明专利]数据核对方法、其装置以及电子设备

说明书

本申请提供了一种数据核对方法、其装置以及电子设备。该方法中，首先，获取第一数据集以及第二数据集；之后，将第一数据集以及第二数据集都保存至数据库中；之后，对第一数据集以及第二数据集进行数据核对，得到核对结果；最后，将核对结果保存至数据库中。该方法通过将预定时间段内的所有原始数据经流式处理得到的第一数据集和预定时间段内的所有原始数据经离线处理得到的第二数据集存入数据库中，在数据库中核对判断第一数据集和第二数据集中对应同一条原始数据的数据是否一致，并将核对结果保存至数据库中，方便后续查询，避免了人工执行、导出的繁琐步骤，便于开发运维人员进行核对使用，进而解决了现有技术中数据核对的灵活性较低的问题。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据核对方法、数据核对装置、计算机可读存储介质以及电子设备。

背景技术

当在对同一批数据进行不同方式的处理计算以期得到相同的处理结果时，为了保证结果的相同，可以使用数据核对的方式来加强数据的一致性，对于发现的异常之处可以及时追溯问题。流式和离线是两种不同的数据处理方式，流式通过Flink等流式数据处理技术对当天数据进行处理，计算逻辑由Java代码实现；离线通过调度任务在T+1时刻对前一日数据进行批量处理，计算逻辑由SQL(Structured Query Language)代码实现。两种方式的计算代码各自独立完成，计算结果存入数据库中的两张表内。如果需要对两张表内的结果进行比对，需要人工写SQL代码进行查询。在对比数据时需要人工执行SQL代码，如果数据量大执行SQL的时间较长，在结果运行出来之前只能等待，此外运行代码时还会影响到一定数据库的性能。对比出的结果，在展示方面不够直观，两表关联后字段很多，如果异常数据量较大，还需要进一步统计，将异常种类划分归类。跑出的结果数据如果要长期留存分析原因还需要手动导出保存，不利于管理。执行的SQL代码较长，如果出现业务需求变动，需要改动代码的地方也会比较多，不利于动态更新和维护。

在背景技术部分中公开的以上信息只是用来加强对本文所描述技术的背景技术的理解，因此，背景技术中可能包含某些信息，这些信息对于本领域技术人员来说并未形成在本国已知的现有技术。

发明内容

本申请的主要目的在于提供一种数据核对方法、数据核对装置、计算机可读存储介质以及电子设备，以解决现有技术中数据核对的灵活性较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据核对方法，包括：获取第一数据集以及第二数据集，所述第一数据集为在预定时间段内对所有原始数据进行流式处理得到的数据集，所述第二数据集为在所述预定时间段内对所有所述原始数据进行离线处理得到的数据集，所述流式处理为对实时接收到的所述原始数据进行实时处理，所述离线处理为对已保存的所述原始数据进行处理；将所述第一数据集以及所述第二数据集都保存至数据库中；对所述第一数据集以及所述第二数据集进行数据核对，得到核对结果，所述核对结果用于表征所述第一数据集和所述第二数据集中对应同一条所述原始数据的数据是否一致；将所述核对结果保存至所述数据库中。

可选地，对所述第一数据集以及所述第二数据集进行数据核对，得到核对结果，包括：对所述第一数据集以及所述第二数据集进行关联处理，所述关联处理为将所述第一数据集和所述第二数据集中对应同一条所述原始数据的数据关联起来，所述第一数据集和所述第二数据集中对应同一条所述原始数据的数据互为关联数据；确定所述第一数据集以及所述第二数据集中是否存在丢失数据，所述丢失数据为所述第一数据集中和第二数据集中没有所述关联数据的数据；在存在所述丢失数据的情况下，确定所述丢失数据为第一异常数据；在不存在所述丢失数据的情况下，按预定条件对所述第一数据集和所述第二数据集进行核对，以确定所述第一数据集中的数据与所述第二数据集中对应的所述关联数据是否一致，得到所述核对结果。

可选地，对所述第一数据集以及所述第二数据集进行关联处理，包括：采用业务主键对所述第一数据集以及所述第二数据集进行关联处理，使得所述第一数据集和所述第二数据集中对应同一条所述原始数据的数据关联起来。