[发明专利]基于Redis的分布式架构数据共享方法

说明书

本发明公开了一种基于Redis的分布式架构数据共享方法，涉及数据处理领域。本发明包括如下步骤：步骤S1、缓存数据初始化：分布式系统每个节点启动后将redis中的数据加载到各个节点的内存中；步骤S2、部署订阅监听：定义订阅回调方法，每个节点均订阅redis通道，并部署监听；步骤S3、数据同步：监测到数据变化后，更新每个节点的内存数据。本发明通过在分布式架构系统中使用redis作为缓存数据同步管理器，利用redis的发布和订阅机制来实时同步分布式多节点的缓存数据，从而实现多节点间的数据一致性，同时redis中的缓存数据可根据业务系统的实际需求进行自定义，并实现缓存数据可配置的发布和订阅功能，不受具体业务系统限制，灵活性强。

技术领域

本发明属于数据处理技术领域，特别是涉及一种基于Redis的分布式架构数据共享方法。

背景技术

Redis是一个完全开源免费的高性能的key-value内存数据库。支持字符串(string)、列表(list)、集合(set)、哈希表(hash)等多种数据存储结构。Redis具有发布与订阅(pub/sub)的消息通信模式，因此可用于高速缓存、数据发布及订阅、高速消息队列等场景。

分布式领域的CAP理论：任何一个分布式系统都无法同时满足Consistency(一致性),Availability(可用性),Partition tolerance(分区容错性)这三个基本需求。在分布式架构中，采用多节点部署的方式来实现高可用，分区容错性是一个最基本的要求，如何在一致性和可用性之间平衡是分布式架构面临的主要难题。因此BASE理论应运而生，BASE理论是在基于CAP理论的基础上，通过大规模互联网系统分布式实践总结，对CAP理论中一致性和可用性权衡的结果，核心思想就是即使无法做到强一致性，但每个应用都可以根据自身的业务特点，采用适当的方式来使系统达到最终一致性。

在实现数据一致性的具体解决过程中，衍生出数据一致性模型，分别是强一致性、弱一致性、最终一致性。其中，强一致性是指当更新操作完成后，任何多个后续操作的访问都会返回最新的更新后的值，强制每次获取到的数据都是最新的数据，确保数据的准确性，现有的实现方案有二阶段提交协议、三阶段提交协议、TCC协议、Paxos算法等。弱一致性是指当更新操作完成后，系统不保证后续操作的访问都会返回最新的更新过的值，也不会保证在多久之后能访问到最新的值，在实现上不采取数据一致性的补偿措施；最终一致性是弱一致性的特定形式，是指在没有后续更新操作的前提下，系统保证最终返回上一次更新操作的值，主要有消息队列实时触发数据补偿及定时任务触发数据补偿两种实现方案。现有的方案主要存在以下缺陷：

(1)二阶段提交协议是同步阻塞式，极大限制了分布式系统的性能，而且存在单点故障问题，没有设计较为完善的容错机制，任意一个节点的失败都会导致整个事务的失败；

(2)三阶段提交协议虽然解决了二阶段提交协议的阻塞问题和单点故障问题，但是引入了分区不一致时，会导致节点无法通信，影响数据的不一致性；

(3)TCC协议、Paxos算法等强一致性实现方案虽然能保证数据的强一致性，但并发时性能上会有很大的影响，在分布式系统中，强一致性往往不是最好的解决方案；

(4)消息队列触发的数据补偿方案，会受到消息队列本身的性能影响，一旦消息队列性能降低会导致数据不能实时同步，影响数据一致性；

(5)定时任务数据补偿方案，当定时时间间隔过小，会频繁进行数据同步操作，影响系统性能；当定时时间间隔过大，会导致数据同步延迟，影响数据一致性。

发明内容

本发明的目的在于提供一种基于Redis的分布式架构数据共享方法，通过在分布式架构系统中使用redis作为缓存数据同步管理器，利用redis的发布和订阅机制来实时同步分布式多节点的缓存数据，从而实现多节点间的数据一致性，解决了现有的节点数据不一致以及数据补偿影响系统性能的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：