[发明专利]全链路对账方法和系统

说明书

本发明公开了一种全链路对账方法，主要包括：各子系统分别实时获取交易数据；对交易数据进行子系统间对账，生成边对账结果；将边对账结果汇总，生成链路对账结果。本发明提供的全链路对账方案，不仅能够使得各子系统对账结果可以汇总成为全链路对账结果，还缩短了交易数据获取时间、降低了存储空间、使得各子系统中字段名称不同的数据可以互相识别、提供了对账异常结果的修正、降低各子系统间对账实施的困难、能够实现各场景下系统组成的设定、增加了异常报警功能。使全链路对账用户友好、易于使用，对账效率提高，适用场景更灵活，使得本方法和系统具有较高的易用性和扩展性。

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种数据全链路对账方法和系统。

背景技术

随着在线交易的爆发性增长，每天会产生海量的交易数据，在此情况下，如何对交易系统产生的交易数据进行高效率的处理，从而满足银行对账需求是目前亟待解决的问题。分布式场景下，一笔交易要经过多个子系统处理才能完成；中间有可能会有数据不一致，发生差错帐的时候，传统对账系统只能发现两系统之间的差错，不能从全链路的视角来对账。因此，提出面向分布式环境的实时交易的全链路对账处理方法，这是一套完备的处理方法，可及时发现实时交易链路中出现的差错帐和异常情况的具体系统和差错类型等详细信息，并推送报警信息。

最接近现有技术为CN201811153706中提到的对账方法和系统，此对账系统在获取数据时，基于滑动窗口和滑动步长从分布式消息队列中读取交易系统产生的交易数据。为保证最终对账结果的可靠性和时效性，可以对交易流水数据的等待次数、潜伏期和最大潜伏期等关键指标建立相应的CheckPoint。从交易流水数据中提取待对账的数据字段值，并转换为预设的标准数据格式。获取交易标识信息，根据交易标识信息进行分组。在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理。

然而该方法和系统具有如下几点局限性：

(1)滑动窗口、滑动步长、交易流水数据的等待次数、潜伏期和最大潜伏期等关键指标会因实际发生交易流水的系统性能状况不同而不同，取值大小决定着可靠性和时效性。对于交易数据的实时获取，该发明中没有明确的定义和取值，因此缺乏实现交易数据实时获取的理论依据和参考意义。

(2)同时采用滑动窗口的机制不可避免地产生重复计算的过程，浪费资源和时间。

(3)待对账的数据字段值没有明确从哪些字段获取，对于不同的系统，数据字段名称一般不同，因此无法从数据字段名称不同的子系统取值。

(4)缺少对账结果补偿模块，无法对对账异常结果进行修正。

(5)缺少配置化参数页面模块，导致实施困难。

(6)缺少链路场景识别模块，因此无法设置不同场景下的系统组成，无法设定对账时各子系统间的触发条件和关联关系，也无法判断缺失哪些系统的流水记录。

(7)缺少异常结果报警模块，无法及时推送对账异常的报警信息。

发明内容

本发明的目的在于提供一种全链路对账方法，使得各子系统对账结果可以汇总成为全链路对账结果，解决了现有技术中数据获取时间长、存储空间占用大、各子系统难以识别字段名称不同的数据、无法对对账异常结果进行修正、各子系统间对账实施困难、无法设定各场景下系统组成、缺少异常报警功能的问题，提高对账效率及准确率，提升用户体验。

实现本发明本目的，发明提供解决方案如下：

一方面提供一种全链路对账方法，包括：

各子系统分别实时获取交易数据；

对交易数据进行所述各子系统间对账，生成边对账结果；

将边对账结果汇总，生成全链路对账结果。