[发明专利]一种分布式对账处理方法、系统及终端设备

说明书

本说明书实施例提供一种分布式对账处理方法、系统及终端设备，以解决现有技术中对账处理方法使得数据库无法满足对大事务需求比较强烈的对账业务的对账需求的问题。该分布式对账处理方法包括：提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据；基于预设的数据分布策略，将提取的第一对账数据和第二对账数据封装到Spark应用的多个弹性分布式数据集中；在Spark应用中分别基于所述多个弹性分布式数据集建立分布式任务，以对所述多个弹性分布式数据集分别进行对账处理；基于对账处理的结果，更新第一对账方在第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据。

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种分布式对账处理方法、系统及终端设备。

背景技术

无论是单向对账(如第三方支付机构和银行间对账)，还是双向对账(如订单与财务系统对账)，均存在数据量较大、高并发、大事务等特点。无论执行主体是数据库还是服务器均存在很大压力，甚至会导致数据库宕机，影响业务系统主链路运行，导致资金资损等各种问题发生。

而传统的对账处理方法，会采用分库分表的方式，也就是，将相同的业务维度落入相同的数据库中；在对账时，采用三层分发的方式进行业务拆分，以分散到多台机器上进行执行；再在一个数据库中采用JOIN+UPDATE的方式分别对两侧流水数据进行比对和比对结果更新；在两侧流水数据均比对结束后，该传统的对账处理任务完成。

由于对账属于联机分析处理OLAP型应用，避免不开大数据量的INSERT、DEL、UPDATE等操作，又由于使用大事务处理任务容易导致数据库回滚，致使数据库抖动，影响数据库的稳定性。因此，在传统的对账处理方法下，对于大事务需求比较强烈的对账业务，数据库无法满足该对账业务的对账需求。

发明内容

本说明书实施例提供一种分布式对账处理方法、系统及终端设备，以解决现有技术中对账处理方法使得数据库无法满足对大事务需求比较强烈的对账业务的对账需求的问题。

本说明书实施例采用下述技术方案：

第一方面，提供了一种分布式对账处理方法，包括：

提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据；

基于预设的数据分布策略，将提取的第一对账数据和第二对账数据封装到Spark应用的多个弹性分布式数据集中；

在Spark应用中分别基于所述多个弹性分布式数据集建立分布式任务，以对所述多个弹性分布式数据集分别进行对账处理；

基于对账处理的结果，更新第一对账方在第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据。

第二方面，提供了一种分布式对账处理系统，包括：

提取模块，提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据；

封装模块，基于预设的数据分布策略，将提取的第一对账数据和第二对账数据封装到Spark应用的多个弹性分布式数据集中；

处理模块，在Spark应用中分别基于所述多个弹性分布式数据集建立分布式任务，以对所述多个弹性分布式数据集分别进行对账处理；

更新模块，基于对账处理的结果，更新第一对账方在第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据。

第三方面，提供了一种终端设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如下步骤：

提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据；