[发明专利]大数据环境下实现分布式中间件消息恢复策略管理的系统

说明书

本发明涉及一种大数据环境下实现分布式中间件消息恢复策略管理的系统，包括环境初始化模块，用于满足分布式集群搭建的基本条件；恢复策略设计模块，与所述的环境初始化模块相连接，用于使用副本集合中的ISR设计恢复策略，通过副本恢复数据；分布式集群应用模块，与所述的恢复策略设计模块相连接，用于在宕机的情况下恢复数据。采用了本发明的大数据环境下实现分布式中间件消息恢复策略管理的系统，通过模拟成为主从设备的方式，监听源库的日志来获取数据，获取到执行的每一个增删改的脚本、修改前和修改后的数据来实现数据及时同步变更。

技术领域

本发明涉及大数据分布式领域，尤其涉及分布式中间件领域，具体是指一种大数据环境下实现分布式中间件消息恢复策略管理的系统。

背景技术

随着国内信息化建设的日益深入，越来越多的企业开始进入深度应用的阶段，而中间件也迎来了千树万树梨花开的阶段。消息中间件凭借高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成，通过提供消息传递和消息排队模型，在分布式环境下扩展进程间的通信的模式，在国内许多行业的关键应用中扮演着至关重要的角色，如在政务行业省、市、县多级数据传递交换汇总，金融行业等中多处应用。

消息中间件是指利用高效可靠的消息传输机制进行平台无关的数据交流，并且基于数据通信来进行分布式系统的集成，最突出的特点就是提供数据传输的可靠性和高效性，主要解决分布式的系统数据传输需求。其中，在生产和消费消息的过程中，对于消息的整个生命周期中，存在数据不完整和宕机的风险，影响数据的使用和价值，宕机恢复策略是一种数据恢复方式，可以降低数据丢失的风险，提升数据本应发挥的价值。

目前，在分布式系统中中间件的使用中，当分布式系统的所有Leader、follower节点都能正常运行且消息都正常同步的时候，消息完整且准确，当存在某个节点出现宕机的时候，其余节点正常，消息也可以通过主、从正常恢复，具体的实现步骤如下：

1.初始化环境，配置zookeeper来做master选举一起实现数据的维护；

2.分别配置kafka的到多台机器上，修改配置，同一个集群中的每个机器的id必须唯一；

3.修改zookeeper的连接配置；

4.修改listeners配置。

根据如上步骤在分布式系统中的消息，通过副本机制来实现冗余备份，来解决单点的问题，当其中一个partition不可用的时候，那么这部分消息可以通过其他副本上备份的办法消费，满足常规的消息生产、消费的要求，但是在实际项目使用中，对于所有的Replica不工作的情况副本机制来实现冗余备份的方法就无法解决该问题，就会存在数据不完整的情况，不能满足系统要求，无法保证数据不丢失了。

目前，在分布式系统中中间件的使用中，当分布式系统的所有Leader、follower节点都能正常运行且消息都正常同步的时候，消息完整且准确，当存在某个节点出现宕机的时候，其余节点正常，消息也可以通过主、从的一主多从的集群中正常恢复，但是在实际项目使用中，分布式系统不可能实现完全稳定和高效可靠的消息传输机制进行平台无关的数据交流，当某个分区的所有副本因为某种原因不能正常工作而宕机，对于所有的Replica不工作的情况副本机制来实现冗余备份的方法就无法解决该问题，就会存在数据不完整的情况，不能满足系统要求，无法保证数据不丢失了。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足稳定、高效、可靠的大数据环境下实现分布式中间件消息恢复策略管理的系统。

为了实现上述目的，本发明的大数据环境下实现分布式中间件消息恢复策略管理的系统如下：

该大数据环境下实现分布式中间件消息恢复策略管理的系统，其主要特点是，所述的系统包括：

环境初始化模块，用于满足分布式集群搭建的基本条件；