[发明专利]一种跨机房数据比对系统及方法

说明书

本发明提供了一种跨机房数据比对系统及方法，系统包括数据采集模块、分布式比对子系统、消息队列和数据中心；每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将字符串存储至该机房的消息队列；每一机房的分布式比对子系统，用于向数据中心发送用于请求比对规则的比对请求，接收数据中心返回的比对规则；从该机房的消息队列中获得字符串，按照比对规则对字符串进行比对，将比对结果存储至该机房的消息队列；数据中心，用于在接收到比对请求后，向该比对请求的发送者返回比对规则；从每一机房的消息队列中获得比对结果。应用本发明实施例，提高了比对计算的时效性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨机房数据比对系统及方法。

背景技术

随着大数据时代的到来，越来越多的业务系统需要进行数据比对。现有的数据比对流程通常为：通过ETL(Extract-Transform-Load)由从各业务系统抽取实时数据，将实时数据与比对规则进行比对，得到实时数据是否符合比对规则的比对结果。由于各业务系统的数据类型通常不同，可能需经过多次ETL抽取，导致中间环节较多，数据的实时性较弱，并且数据比对方法通常是基于单平台进行比对处理，从获得实时数据到完成数据比对需要耗费较长的时间，而且随着待比对的数据量增多，比对计算的时效性会明显降低。

因此有必要设计一种新的跨机房数据比对系统及方法，以克服上述问题。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种跨机房数据比对系统及方法，以实现提高比对计算的时效性。

本发明是这样实现的：

第一方面，本发明提供一种跨机房数据比对系统，所述系统包括数据采集模块、分布式比对子系统、消息队列和数据中心，其中，数据采集模块、分布式比对子系统和消息队列以机房为单位进行部署；

每一机房的数据采集模块，用于获得各业务系统的实时数据，对所获得的实时数据进行数据清洗并标准化转化为预设格式的字符串；将所得的字符串存储至该机房的消息队列；

每一机房的分布式比对子系统，用于向所述数据中心发送用于请求比对规则的比对请求，接收所述数据中心针对所述比对请求返回的比对规则；从该机房的消息队列中获得字符串，按照所接收的比对规则对所得的字符串进行比对，将比对结果存储至该机房的消息队列；

所述数据中心，用于在接收到比对请求后，向该比对请求的发送者返回该比对请求所请求的比对规则；从每一机房的消息队列中获得比对结果。

可选的，所述数据中心还用于：

在接收到比对请求后，在向该比对请求的发送者返回该比对请求所请求的比对规则之前，判断该比对请求是否通过审批；

若判定通过审批，则向该比对请求的发送者返回该比对请求所请求的比对规则；若判定未通过审批，则不向该比对请求的发送者返回该比对请求所请求的比对规则。

可选的，所述数据中心还用于：

在接收到比对请求后，判断该比对请求的发送者所处机房的计算资源是否大于预设阈值；

若不大于预设阈值，则从该机房的消息队列中获得字符串，并确定该比对请求所请求的比对规则；按照所确定的比对规则对所得的字符串进行比对，得到比对结果，并将所得的比对结果推送至该机房的消息队列。

可选的，所述数据中心还用于：

将所得的比对结果存储至自身的数据库。

可选的，所述系统还包括数据统计模块，用于：