[发明专利]基于Ignite网格缓存数据解耦持久化的方法及系统

说明书

本发明公开基于Ignite网格缓存数据解耦持久化的方法及系统，系统包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。本发明将Ignite缓存和数据库进行解耦，提高缓存处理的速度和集群的吞吐量；避免数据库对集群的影响，提高集群的稳定性。

技术领域

本发明涉及大数据处理领域，尤其涉及基于Ignite网格缓存数据解耦持久化的方法及系统。

背景技术

Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。

在Apache Ignite的数据网格中，通写（write through）功能意味着当缓存更新时会自动地进行持久化，将数据持久化到数据库中。当前，Ignite数据网格的通写方式是一种缓存和数据库紧耦合的通写方式。即使在开启批量通写的后写（write behind）功能场景中，如果缓存中存储大量的数据并且频繁更新缓存，那么数据持久化到数据库的速度将会影响整个Ignite集群的效率和性能；而且数据库的异常行为也会影响到Ignite集群的稳定性。如果在缓存和数据库之间引入非一体化MQ，外部MQ故障时数据会丢失，也增加外部MQ带来的管理复杂度。

发明内容

本发明为了解决Apache Ignite的数据网格中现有缓存通写方式因数据库而影响Ignite集群的效率和性能，造成Ignite集群不稳定的问题，提供基于Ignite网格缓存数据解耦持久化的方法及系统，将在缓存和数据库之间引入一个类似生产者-消费者方式的本地消息系统，即生产者先把缓存更新的数据通写到本地文件，然后消费者将本地文件中的数据写入数据库。同时生产者与Ignite的服务节点是一体化的，避免由于故障造成的数据丢失。而本地消息系统将使用内存映射文件的技术来提高读写文件的速度。通过引入一个本地消息系统作为中间层，不仅将缓存和数据库进行了解耦合，降低了数据库对于Ignite集群效率和性能的影响；还避免了数据库异常造成Ignite集群不稳定的后果；同时提高了Ignite的业务处理速度。

本发明采用的技术方案是：

基于Ignite网格缓存数据解耦持久化系统，其包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。

生产者与服务节点共享同一个Java虚拟机（JVM），进程内通信速度快；一体化绑定启动，崩溃时也同时重启，容错性好。

生产者对数据的更新包括数据添加和数据删除。

基于Ignite网格缓存数据解耦持久化的方法，其包括以下步骤：

S1:在Ignite的服务节点启动时，该服务节点创建一个与之对应的文件队列目录供消息系统使用，并且在文件队列目录下为当前服务节点中每一个开启通写的缓存创建与之对应的队列子目录；

S2:缓存在首次进行更新数据之前会先创建一个与之对应的生产者，生产者使用缓存名称将缓存与文件队列子目录进行关联；缓存将需要更新的数据发送至与之对应的生产者，生产者对数据进行更新，并对数据本身进行包装；