[发明专利]支持高并发的分布式内存计算集群系统

摘要

本发明申请提供了一种保持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件和数据库，Master节点，主要功能为接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果。Master节点包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，集群管理部件主要用于监控和维护整个集群的健康状态，数据库，用于储存历史分片数据和实时数据。能够有效降低“框架消耗”，并能实现数据预加载、请求预分析及纯内存操作。

主权项

1.一种支持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件、数据库，其中：所述Master节点，用于接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果，所述Master节点具体包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，其中：所述请求分析器，用于从请求队列中获取请求，对所述请求进行分析，以判断该请求是否为耗时请求，如为非耗时请求则存入作业队列，如为耗时请求则存入耗时作业队列，所述作业调度控制器，用于定时检查作业队列，当请求分析器分析完请求后，交由作业调度控制器，若作业队列不空，则先处理该作业队列所有作业，否则，检查耗时作业队列，若不空，则从该耗时作业队列里取出一个作业投放运作，所述作业监视器，用于监视投放运作的每一个作业，当有作业发生异常、完成情况，则立即通知作业调度控制器准备其他作业的投放运作；所述集群监视器，用于结合集群管理部件随时监控集群的健康状态，集群的各方面的负载；所述Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，其中：所述任务分析器，用于分析由Master节点下发的作业的参数和条件，产生一系列任务存放于任务队列里，所述任务调度控制器，根据情况从任务队列取出任务执行，任务调度控制器维护了一个执行任务的线程池，每个任务对应一个执行线程，线程会根据任务的条件从数据缓冲区或中间结果缓冲区中检索数据进行分析，所述任务监视器，用于监视正在运行的每一个任务，一旦有任务发生异常、完成情况，立即通知任务调度控制器准备其他任务的执行；所述数据加载引擎，用于根据分片规则在系统启动或发生扩缩容的时候从数据库加载数据到数据缓冲区；所述任务队列，每个作业会分配若干个任务，分散到各个Node节点执行，这些任务由任务分析器产生，并以FIFO方式存放在任务队列里面，所述数据缓冲区，用于存放分析数据的数据结构，所述中间结果缓冲区，用于暂存最小运行单位的任务的产出；所述集群管理部件，用于监控和维护整个集群的健康状态；所述数据库，用于储存历史分片数据和实时数据。