[发明专利]一种基于消息队列的Redis集群海量数据快速清理系统及方法

摘要

本发明公开了一种基于消息队列的Redis集群海量数据快速清理系统及方法，该系统包括管理节点、Redis集群节点、消息队列节点和临时缓存节点；Redis集群节点：在不同的服务器上部署Redis cluster服务，至少部署三个Redis主库，每个Redis主库至少对应1个Redis从库；消息队列节点：在不同的服务器上部署消息队列分布式集群作为对Redis键值进行处理的中间载体；临时缓存节点：在两台服务器上分别部署Pika主库和Pika从库，用于存储Redis集群清理的数据；管理节点：存储所有元信息，同时部署Web应用服务，访问Redis集群、消息队列集群和Pika主库，对Redis键值进行删除处理。本发明的处理速度接近内存级速度，可以实现快速清理海量数据，使用简单可靠，对Redis集群服务影响小，可以实现数据一键回滚。

主权项

一种基于消息队列的Redis集群海量数据快速清理系统，其特征在于，该系统包括管理节点、Redis集群节点、消息队列节点和临时缓存节点；Redis集群节点：在不同的服务器上部署Redis cluster服务，至少部署三个Redis主库，每个Redis主库至少对应1个Redis从库；不同的Redis主库端口不同，Redis主库和对应的Redis从库端口一致；消息队列节点：在不同的服务器上部署消息队列分布式集群，服务器为IO型服务器，采用支持分布式和横向扩展的消息队列存储方案，设置两副本，部署三个分片，消息队列分布式集群作为对Redis键值进行处理的中间载体；临时缓存节点：在两台服务器上分别部署Pika主库和Pika从库，端口号一致，用于存储Redis集群清理的数据，采用Pika作为存储方案；管理节点：存储所有元信息，包括Redis集群元信息、消息队列元信息、临时缓存元信息和缓存数据统计信息，所述Redis集群元信息包括：Redis集群中所有Redis主库的IP和端口，以及每个Redis集群的集群标识符，集群标识符采用Redis集群对应的业务名称，不同的Redis集群，集群标识符不同；消息队列元信息包括：消息队列集群中所有分片的IP、端口；临时缓存元信息包括：Pika主库的IP、端口和密码；缓存数据统计信息包括：键值前缀、键值数量和执行时间；所述键值前缀是Redis集群中某一类Key的前缀，一个键值前缀可以匹配到一个或者多个Key；所述执行时间包括删除某个键值前缀匹配到的所有键值的开始时间点和完成时间点；同时，在管理节点上部署Web应用服务，访问Redis集群、消息队列集群和Pika主库，对Redis键值进行删除处理。