[发明专利]一种分布式系统数据一致性处理方法、装置和系统

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种分布式系统数据一致性处理方法、装置和系统。

背景技术

数据库是按照数据结构来组织、存储和管理数据的仓库。数据库在数据存储和处理得到了广泛的应用。目前大型互联网应用的分布式数据库事务处理大多采用BASE模型，这种模型区别于关系数据库的ACID模型的特点是采用异步更新的方式，允许数据状态可以有一段时间不同步，只要达到数据的最终一致即可。也就是说，BASE模型通过牺牲实时高一致性，获得了高可用性和高可靠性。因此，如何对不一致的数据进行监控和处理就成为了一个需要解决的问题。

现有技术中，存在一种监控多数据库之间数据一致性的方法，通过应用系统发送验证请求来触发数据的一致性监控，根据所述验证请求中所述涉及的业务逻辑、数据库地址以及关联多数据库的关键字段，到相应的业务数据库中取出具体的数据，并匹配相应的业务逻辑校验是否满足一致性要求，以获得校验结果。

然而，由于现有技术提供的方法需要根据应用系统发送的验证请求才能够触发数据的一致性监控，需要对旧有的应用系统进行改造才能够实现数据的一致性监控，并不适合所有的应用系统和数据库，成本较高。此外，由于在进行数据一致性监控时，需要实时访问、查询业务数据库以获得具体的数据，当涉及数据量较大时，将会对业务数据库造成较大的压力，实时读取业务数据库也会造成系统的性能损耗，进而产生系统响应慢、无法得到快速而准确的监控结果等缺陷。

发明内容

为解决上述技术问题，本发明公开了一种分布式系统数据一致性处理方法、装置和系统，可用较低的成本和系统损耗实现数据快速、准确的一致性比对，并不会对业务数据库产生压力。

技术方案如下：

根据本发明实施例的第一方面，公开了一种分布式系统数据一致性处理装置，所述装置包括配置模块、数据库消息生成模块和数据一致性比对任务模块，其中：

所述配置模块，用于预先配置监控对象以及对应所述监控对象的监控规则；

所述数据库消息生成模块，用于解析对应所述监控对象的事务日志文件，当确定所述监控对象发生变化时，实时生成业务数据变更消息，向所述数据一致性比对任务模块发送所述业务数据变更消息；其中，所述业务数据变更消息包含对应所述监控对象的待比对业务数据；

所述数据一致性比对任务模块，用于接收所述数据库消息生成模块发送的所述业务数据变更消息，根据所述对应所述监控对象的监控规则对所述业务数据变更消息中包含的所述待比对业务数据实时进行比对，获得比对结果。

优选地，所述数据库消息生成模块具体用于：

当预置的所述监控对象来源于不同数据库时，分别解析各数据库对应所述监控对象的事务日志文件，当确定所述监控对象在任一数据库对应的事务日志文件中发生变化时，实时生成业务数据变更消息，向所述数据一致性比对任务模块发送所述业务数据变更消息；其中，所述业务数据变更消息包含所述监控对象在各数据库中的事务日志文件对应的业务数据。

优选地，所述数据一致性比对任务模块具体用于：

当接收到所述数据库消息生成模块发送的业务数据变更消息时，将所述数据变更消息包含的所述待比对业务数据存储至本地数据库，利用所述本地数据库根据所述对应所述监控对象的监控规则对所述待比对业务数据实时进行一致性比对，获得比对结果。

优选地，所述数据一致性比对任务模块还用于：

对所述待比对业务数据进行哈希运算，根据哈希运算结果对所述待比对业务数据进行分组，将不同组的业务数据分配到不同的任务机上以根据预置的所述监控规则对所述业务数据实时进行比对。

优选地，所述装置还包括：

海量存储模块，用于接收并存储所述数据一致性比对任务模块发送的比对结果；以及，接收查询请求，返回与所述查询请求对应的比对数据。

优选地，所述装置还包括：

一致性恢复模块，用于当所述比对结果表明业务数据存在不一致时，实现业务数据的一致性恢复；其中，所述一致性恢复模块具体用于：

根据所述配置模块预先配置的业务应用的远程接口和调用参数，调用所述业务应用以实现业务数据的一致性恢复。

优选地，所述装置还包括：

监控模块，配置用于监控所述数据一致性比对任务模块的运行状态，当所述运行状态表明未比对数据的数量超过预设阈值时，输出报警信息。

根据本发明实施例的第二方面，公开了一种分布式系统，所述分布式系统包括数据一致性处理装置和业务数据库，其中：