[发明专利]分布式任务存储系统和分布式任务存储/读取方法

说明书

本申请公开了一种分布式任务存储系统和分布式任务存储/读取方法。该系统的一具体实施方式包括：网关服务器，用于接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点，其中，任务请求为任务存储请求或任务读取请求，各任务请求包括需要存储或读取的任务的任务类型；数据持久化分库集群，包括多个数据库，且各数据库用于存储对应任务类型的任务；任务存储集群，包括多个服务节点，各服务节点用于根据需要存储的任务的任务类型将各任务存储到对应的数据库中，以及用于根据需要读取的任务的任务类型读取各任务。该实施方式提供的分布式任务存储系统可以用于存储不同业务系统的任务。

技术领域

本申请涉及计算机技术领域，具体涉及存储技术领域，尤其涉及分布式任务存储系统和分布式任务存储/读取方法。

背景技术

无论是在大型的互联网应用中，还是在企业级架构中，不同的业务系统均会存在大量类型迥异的任务需要存储和读取。现有技术通常采用分布式消息队列的方式进行任务存储和读取，并且不同的业务系统需要单独的存储系统来存储和读取任务数据，这使得不同业务系统的任务数据存储分散，不利于统计分析。

发明内容

本申请的目的在于提出一种改进的分布式任务存储系统和分布式任务存储/读取方法，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种分布式任务存储系统，该系统包括：网关服务器，用于接收各业务系统发送的任务请求，并将各任务请求分配到任务存储集群中的服务节点，其中，任务请求为任务存储请求或任务读取请求，各任务请求包括需要存储或读取的任务的任务类型；数据持久化分库集群，包括多个数据库，且各数据库用于存储对应任务类型的任务；任务存储集群，包括多个服务节点，各服务节点用于根据需要存储的任务的任务类型将各任务存储到对应的数据库中，以及用于根据需要读取的任务的任务类型读取各任务。

在一些实施例中，上述系统还包括统一配置中心，用于构建分布式任务存储系统中的多种服务，以及设定任务存储集群需要部署的各服务的数量；任务存储集群还包括控制中心，用于为各服务节点部署至少一种服务。

在一些实施例中，统一配置中心还用于监测各服务节点的负载均衡情况，并在监测到服务节点的负载不均衡时向控制中心发送转移该服务的转移请求，以使控制中心将部署在第一服务节点的至少一个服务转移到第二服务节点，其中，第一服务节点的负载量大于第二服务节点的负载量。

在一些实施例中，统一配置中心还用于监测各服务的负载量，并在监测到存在服务的负载量大于对应的第一预设阈值时，向控制中心发送增加任务存储集群中该服务的数量的增加服务请求；统一配置中心还用于在监测到存在服务的负载量小于对应的第二预设阈值时，向控制中心发送减少任务存储集群中该服务的数量的减少服务请求。

在一些实施例中，统一配置中心还用于监测各服务节点的负载情况，并在监测到存在负载量大于第三预设阈值的服务节点时，向控制中心发送增加服务节点的数量的增加服务节点请求；统一配置中心还用于在监测到存在服务节点的负载量小于第四预设阈值时，向控制中心发送减少服务节点的数量的减少服务节点请求。

在一些实施例中，控制中心还用于响应于接收到增加服务请求或减少服务请求，增加或减少任务存储集群中的服务；控制中心还用于响应于接收到增加服务节点请求或减少服务节点请求，增加或减少任务存储集群中的服务节点。

在一些实施例中，多种服务包括责任链服务、离散服务、加速服务和预警服务中的至少一种；责任链服务用于确定存储或读取任务的任务链中的各服务，并将各服务按照预设的顺序添加到任务链中；网关服务器还用于基于负载均衡算法将任务请求分配到责任链服务。

在一些实施例中，上述系统还包括数据缓存集群，用于在服务节点将各任务存储到与该任务的任务类型对应的数据库中时缓存各任务，并且根据各任务的任务类型形成不同的分布式队列。