[发明专利]一种保障计算数据一致性的处理方法、装置及系统

权利要求书

1.一种保障计算数据一致性的处理方法，其特征在于，所述方法包括：

读取离线数据库中的离线数据，根据所述离线数据的存储统计时间确定所述离线数据同步延迟的延迟时间；

从预先设置的实时流计算结果数据库中读取当前统计时间的实时数据，并读取出与所述延迟时间相对应的实时数据作为业务计算的补偿数据；其中，所述实时流计算结果数据库被设置成存储采用下述方式得到数据：读取业务源数据库的业务统计数据，获取所述业务的变更数据；根据设置在所述变更数据中静态属性字段访问相应的数据单元，根据访问结果对对所述变更数据进行流式计算，得到实时的流式计算结果数据；存储所述实时的流式计算结果数据；

基于所述离线数据、实时数据和补偿数据执行业务计算。

2.如权利要求1所述的一种保障计算数据一致性的处理方法，其特征在于，所述离线数据库与所述实时流计算结果数据库分别被设置成，包括：

所述离线数据库与所述实时流计算结果数据库采用分区存储的方式存储数据，且所述实时流计算结果数据库中的指定实时数据表至少存一个数据同步周期的实时数据。

3.如权利要求1至2中任意一项所述的一种保障计算数据一致性的处理方法，其特征在于，所述根据所述离线数据、实时数据和补偿数据执行业务计算，包括：

判断进行业务计算的业务数据所属的数据类型，采用与所数据类型对应的数据融合计算方式进行业务计算。

4.如权利要求3所述的一种保障计算数据一致性的处理方法，其特征在于，所述判断进行业务计算的业务数据所属的数据类型，包括：

确定需要进行业务计算的业务数据在所述离线数据库和实时流计算结果数据库中的数据表，根据所述业务数据所在的数据表的信息判断出所述业务数据属于的预先划分的数据类型；

所述预先划分的数据类型包括：历史产生且无变更的第一数据类型、当前统计时间实时新增的第二数据类型、历史产生且实时发生变更的第三数据类型。

5.如权利要求4所述的一种保障计算数据一致性的处理方法，其特征在于，所述融合计算方式包括：

当判断业务计算的当前业务数据为第一数据类型时，根据离线数据和补偿数据获取所述当前业务数据的第一计算结果；

当判断业务计算的当前业务数据为第二数据类型时，根据实时数据获取所述当前业务数据的第二计算结果；

当判断业务计算的当前业务数据为第三数据类型时，将根据离线数据和补偿数据获取的第一计算结果、根据实时数据获取的第二计算结果合并计算得到当前业务数据的计算结果。

6.一种保障计算数据一致性的处理装置，其特征在于，所述装置包括：

延迟判断模块，用于读取离线数据库中的离线数据，根据所述离线数据的存储统计时间确定所述离线数据同步延迟的延迟时间；

数据补偿模块，用于从预先设置的实时流计算结果数据库中读取当前统计时间的实时数据，并读取出与所述延迟时间相对应的实时数据作为业务计算的补偿数据；其中，所述实时流计算结果数据库被设置成存储采用下述方式得到数据：读取业务源数据库的业务统计数据，获取所述业务的变更数据；根据设置在所述变更数据中静态属性字段访问相应的数据单元，根据访问结果对对所述变更数据进行流式计算，得到实时的流式计算结果数据；存储所述实时的流式计算结果数据；

业务计算模块，用于基于所述离线数据、实时数据和补偿数据执行业务计算。

7.如权利要求6所述的一种保障计算数据一致性的处理装置，其特征在于，所述离线数据库与所述实时流计算结果数据库分别被设置成，包括：

所述离线数据库与所述实时流计算结果数据库采用分区存储的方式存储数据，且所述分区存储离线数据库中的指定实时数据表至少存一个数据同步周期的实时数据。

8.如权利要求6至7中任意一项所述的一种保障计算数据一致性的处理装置，其特征在于，所述业务计算模块包括：

类型判断模块，用于判断进行业务计算的业务数据所属的数据类型；

融合计算模块，用于采用与所数据类型对应的数据融合计算方式进行业务计算。