[发明专利]一种业务数据的同步分发存储方法及系统

说明书

本发明公开了一种业务数据的同步分发存储方法及系统，方法包括：生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；消息中间件对生产者发送的数据进行分布式存储，并通知生产者数据发送成功；消费者通过验证接收数据Schema与消息中间件建立连接，并设置消费游标；消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。本发明能够有效的解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及尽量减少生产者、消费者的重复工作量。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种业务数据的同步分发存储方法及系统。

背景技术

数据同步是一种业界比较常见的场景，当前主要的处理方法有：通过消息中间件同步和通过HTTP(HyperText Transfer Protocol，超文本传输协议)API(ApplicationProgramming Interface，应用程序接口)通知+HTTP API/DB(Database，数据库)同步。其中，通过消息中间件同步是指，生产者通过消息中间件发送数据ID，消费者拿到数据ID后，再调用生产者的API或者访问生产者的数据库获取真实的数据。新消费者与回溯消费场景下，需要生产者提供全量方式：重新全量生产或提供离线DB给消费者。同一个主题下的消息是没有Scheme约束的，生产者可以在一个主题中发送多种数据格式的数据。通过HTTP API通知+HTTP API/DB同步是指，生产者直接通过HTTP的方式通知消费者数据ID，消费者根据数据ID，再调用生产者的API或者访问生产者的数据库获取真实的数据。新消费者与回溯消费场景下，需要生产者提供全量方式：重新全量生产或提供离线DB给消费者。生产者与消费者之间直连同步的方式，可能会带来性能问题。

以上两种方式，主要会有以下问题：

1、数据不一致，拿到数据ID后，由于多机房、并发、执行能力、软硬件异常等问题，都会导致数据脏读、覆盖等情况出现。

2、全量、回溯历史数据进行重新消费时，需要生产者、消费者重度参与。

3、工作量重复，为了解决上面的问题，生产者与消费者会浪费大量时间进行重复工作(数据补偿、重试、分布式事务、分布式锁、主从同步问题、并发问题)。

4、生产者与消费者很容易产生耦合。

5、当前业界主流消息中间件(Kafka、RabbitMQ、ActiveMQ、RocketMQ)的数据存储在Broker中的，导致Broker是有状态的，扩展性很差，故障应对能力差，且无法永久存储消息数据。

因此，需要解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及如何尽量减少生产者、消费者的重复工作量。

发明内容

有鉴于此，本发明提供了一种业务数据的同步分发存储方法，能够有效的解决异常情况导致的数据不一致的问题，全量、回溯同步数据复杂度高的问题，生产者与消费者耦合度高的问题，以及尽量减少生产者、消费者的重复工作量。

本发明提供了一种业务数据的同步分发存储方法，包括：

生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；

在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；

消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；

所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者。