[发明专利]一种跟踪对账方法

摘要

本发明公开了一种跟踪对账方法，属于大数据技术领域，包括设立数个数据采集服务器、中心服务器、数据库服务器和数个客户端服务器，所有Collector和所有Worker均与Kafka平台通信，数据库与Kafka平台通信，monitor管程监视每一个Collector、每一个Worker、Kafka平台和数据库；Collector用于收集数据，Worker用于消费数据，解决了分钟级的按业务对账的技术问题，本发明采用分钟级的按业务对账，不仅可以及时发现问题，而且可以精确的定位到数据问题点，本发明在采集时首先将数据包封，后续对账均采用包封数据里面的时间戳，这样可以精确的核对同一分钟在不同节点数据条数。

主权项

1.一种跟踪对账方法，其特征在于：包括如下步骤：步骤1：设立数个数据采集服务器、中心服务器、数据库服务器和数个客户端服务器；步骤2：设定每一个数据采集服务器均为一个Collector，设定每一个客户端服务器均为一个Worker，在中心服务器中建立Kafka平台和monitor管程，在数据库服务器中建立数据库，所有Collector和所有Worker均与Kafka平台通信，数据库与Kafka平台通信，monitor管程监视每一个Collector、每一个Worker、Kafka平台和数据库；Collector用于收集数据，Worker用于消费数据；步骤3：Collector将采集到的原始数据进行封包，生成json格式的数据包，数据包包含的字段为module数据所属模块，type数据类型，timestamp数据时间戳和data原始数据，其中module数据所属模块和type数据类型通过配置文件传入，timestamp数据时间戳为当前时间戳；步骤4：Collector根据timestamp数据时间戳，定义一个计数逻辑进行计数，统计每分钟采集到的数据包，并定时将统计结果发送给数据库、将数据包发送给Kafka平台；步骤5：首先为所有的Worker均分配好group团队，然后已分配group团队的Worker调取Kafka平台的数据包进行消费，Kafka平台根据所述计数逻辑，统计每分钟用于消费的数据包的数量，并将统计结果发送给数据库；步骤6：通过monitor管程展示Collector采集到的数据包和Worker消费的数据包，并设置异常规则，异常规则包括：规则一、两个值是否相等；规则二、两个值是否在一定的相差范围内；规则三、该值是否为0。