[发明专利]一种数据回流检测方法、装置及设备

说明书

本说明书实施例公开了一种数据回流检测方法、装置及设备。方案包括：获取待回流数据的数据总量；在确定数据回流开始后，确定已回流数据的数据总量；判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据回流检测方法、装置及设备。

背景技术

随着互联网技术的发展，已经进入一个数据爆炸的时代，例如金融机构、电信运营商等传统行业每日需要处理的数据量巨大。在大数据背景下数据需要不断进行流转、交换才能使得其价值最大化，如何能更好地利用数据资产，将数据转换成商业价值，已经成为诸多企业重点考虑的问题。为了便于数据的管理及流转，一般需要将获取的各种离线数据写入到线上数据仓库中。数据仓库中的数据是对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总整理得到的，并提供各种查询分析能力。很多具备重要业务价值的数据经过分析之后得到新数据，新数据需要回流到在线数据库中做进一步的业务处理，但是回流的数据量较大，应用系统需要等待回流结束才能进行下一步处理，因此，需要判断回流何时结束。

现有技术中，判断是否回流完成的方案是：每隔一段时间读取在线数据库中回流的数据量，看两个时间段数据量是否发生变化，当多次读取的数据量都相同时认为回流完成。但是现有技术中的方法为了尽量确保回流完成的核验准确，即使在确定两个时间段的数据量相同的情况下，仍然需要再进行多次检测确定，导致时效较差。并且如果发生异常状况，回流过程将会被卡住，使得多次扫描的结果都相同，被误认为已经回流完成，导致业务数据缺失。

发明内容

有鉴于此，本申请实施例提供了一种数据回流检测方法、装置及设备，用于克服现有技术中由于回流异常导致的数据缺失以及多次检测带来的失效误差的缺陷，提高检测的准确性和时效性。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据回流检测方法，包括：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；

判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

本说明书实施例提供的一种数据回流检测装置，包括：

待回流数据总量获取模块，用于获取待回流数据的数据总量；

已回流数据总量确定模块，用于在确定数据回流开始后，确定已回流数据的数据总量；

判断模块，用于判断所述待回流数据的数据总量与所述已回流数据的数据总量是否相等，得到第一判断结果；

确定模块，用于当所述第一判断结果表示所述待回流数据的数据总量与所述已回流数据的数据总量相等时，确定数据回流完成。

本说明书实施例提供的一种数据回流检测设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获取待回流数据的数据总量；

在确定数据回流开始后，确定已回流数据的数据总量；