[发明专利]一种业务数据的同步分发存储方法及系统

权利要求书

1.一种业务数据的同步分发存储方法，其特征在于，包括：

生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；

在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；

消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；

所述消息中间件根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者；

其中，所述在所述生产者与所述消息中间件建立连接后，所述消息中间件对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功，包括：

在所述生产者与所述消息中间件建立连接后，所述消息中间件接收所述生产者发送的数据；

所述消息中间件将接收到的数据同时写入分布式文件存储系统的N个存储节点；

所述消息中间件将存储成功的数据写入所述消息中间件的本地队列；

所述消息中间件向所述生产者发送数据发送成功的通知；

其中，所述消费者通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标，包括：

所述消费者从注册中心获取消息中间件地址；

基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；

验证成功后，设置消费游标，并建立与所述消息中间件的连接。

2.根据权利要求1所述的方法，其特征在于，所述生产者携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立，包括：

生产者从注册中心获取消息中间件地址；

基于所述注册中心返回的目标主题所在地址，携带验证发送数据Schema到消息中间件进行兼容性验证；

验证成功后，生产者与所述消息中间件建立连接。

3.根据权利要求1所述的方法，其特征在于，所述消息中间件根据订阅所述目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，包括：

当所述消费游标指定值在本地队列时，所述消息中间件从本地队列中拉取数据；

当所述消费游标指定值未在本地队列时，所述消息中间件从分布式存储中拉取数据。

4.一种业务数据的同步分发存储系统，其特征在于，包括：生产者、消息中间件和消费者；其中：

所述生产者，用于携带验证发送数据Schema到消息中间件进行兼容性验证与连接建立；

所述消息中间件，用于在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功；

所述消费者，用于通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标；

所述消息中间件，还用于根据订阅目标主题的消费者的消费游标，从本地队列或分布式存储中拉取数据，并将拉取的数据推送给所有订阅所述目标主题的消费者；

所述消息中间件在执行在所述生产者与所述消息中间件建立连接后，对所述生产者发送的数据进行分布式存储，并通知生产者数据发送成功时，具体用于：

在所述生产者与所述消息中间件建立连接后，接收所述生产者发送的数据；

将接收到的数据同时写入分布式文件存储系统的N个存储节点；

将存储成功的数据写入所述消息中间件的本地队列；

向所述生产者发送数据发送成功的通知；

其中，所述消费者在执行通过验证接收数据Schema与所述消息中间件建立连接，并设置消费游标时，具体用于：

从注册中心获取消息中间件地址；

基于所述注册中心返回的目标主题所在地址，携带验证接收数据Schema到所述消息中间件进行验证；

验证成功后，设置消费游标，并建立与所述消息中间件的连接。