[发明专利]一种分布式对账处理方法、系统及终端设备

权利要求书

1.一种分布式对账处理方法，包括：

提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据；

基于预设的数据分布策略，将提取的第一对账数据和第二对账数据封装到Spark应用的多个弹性分布式数据集中，所述预设的数据分布策略用于将表征目标业务含义的数据合并封装到所述目标业务含义对应的目标弹性分布式数据集；

在Spark应用中分别基于所述多个弹性分布式数据集建立分布式任务，以对所述多个弹性分布式数据集分别进行对账处理；

基于对账处理的结果，更新第一对账方在第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据；

其中，基于对账处理的结果，更新第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据，包括：

基于分库分表中间件ZDAL的规则引擎提供的参数列表，返回拆分字段；

基于所述拆分字段的拆分字段值，确定所述对账处理的结果所属的数据库；

通过Java数据库连接JDBC调用结构化查询语言SQL命令，对所述数据库进行操作，以更新第一对账表的第一对账数据和/或第二对账方在第二对账表的第二对账数据。

2.如权利要求1所述的方法，提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据，包括：

基于数据库的日志操作文件，提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据。

3.如权利要求2所述的方法，提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据，包括：

通过数据复制拷贝DRC的方式，从数据库日志操作文件读取所述第一对账数据和所述第二对账数据。

4.如权利要求3所述的方法，还包括：

从所述数据库日志操作文件中按block读取所述第一对账数据和所述第二对账数据，并在block读取完毕后设置检查点checkpoint。

5.如权利要求4所述的方法，还包括：

如果读取过程中所述数据库发生crash重启，则在数据库重启之后从最后一个checkpoint之后重新读取所述第一对账数据和所述第二对账数据，并进行数据校验。

6.如权利要求1所述的方法，所述预设的数据分布策略为表征目标业务含义的数据合并分布的策略；

基于预设的数据分布策略，将提取的第一对账数据和第二对账数据封装到Spark应用的多个弹性分布式数据集中，包括：

将表征目标业务含义的第一对账数据合并封装到所述Spark应用的弹性分布式数据集中所述目标业务含义对应的目标弹性分布式数据集；

将表征所述目标业务含义的第二对账数据合并封装到所述Spark应用的所述目标弹性分布式数据集中。

7.如权利要求6所述的方法，在Spark应用中分别基于所述多个弹性分布式数据集建立分布式任务，以对所述多个弹性分布式数据集分别进行对账处理，包括：

基于弹性分布式数据集的混乱属性确定所述弹性分布式数据集中进行对账处理的阶段数，其中，每个阶段被分成多个任务并分布到不同的服务器执行，每个阶段的任务执行完毕后的中间数据存储到所述弹性分布式数据集所在的服务器；

在通过调度器执行所述弹性分布式数据集的阶段任务时，将前一个阶段的任务执行完毕后的中间数据作为后一个阶段的输入值，直至阶段执行完毕，其中，最后一个阶段的任务执行完毕后的数据为所述弹性分布式数据集的对账处理后的结果数据。

8.如权利要求1所述的方法，在提取第一对账方在第一对账表的第一对账数据，并提取第二对账方在第二对账表的第二对账数据之前，还包括：

按照数据维度，将目标业务的流水数据分别落入所述第一对账表和所述第二对账表对应的数据库中；

基于所述流水数据中尚未对账的对账数据的数据量的可适配度，对所述流水数据进行切割以得到所述第一对账数据和所述第二对账数据。