[发明专利]基于MPP的并行数据挖掘系统及其实现方法

权利要求书

1.一种基于MPP的并行数据挖掘系统，其特征在于：包括一个挖掘引擎节点和多个分布式的挖掘代理节点，所述的挖掘引擎节点包括引擎资源监管模块、任务监管模块、消息服务模块、元数据管理模块、代理资源管理模块、任务调度模块、任务负载均衡模块和计算负载均衡模块；所述的挖掘代理节点包括任务解析器、任务执行器、K均值算法Master算子、K均值算法Slaver算子，所述的任务解析器、任务执行器、K均值算法Master算子、K均值算法Slaver算子依次相连接，该任务解析器与挖掘引擎节点相连接，K均值算法Master算子与分布式数据访问引擎相连接，K均值算法Slaver算子与分布式数据存储节点相连接；

所述挖掘引擎节点根据各挖掘代理节点当前的数据挖掘任务负载情况，将当前数据挖掘任务分配给数据挖掘任务负载较少的挖掘代理节点，将其作为该数据挖掘任务的Master挖掘代理节点；Master挖掘代理节点同分布式数据存储系统或MPP数据库的分布式数据访问引擎进行通信获取数据的分布情况，然后结合当前各挖掘代理节点的计算负载和资源情况，按照该挖掘任务的Master算子，将数据挖掘任务拆分成若干个并行的子任务，采用数据分布的负载均衡及就近挖掘策略向挖掘代理节点分发挖掘任务；每个挖掘代理节点按照分配的子任务执行Slaver算子,每个Slaver算子只进行对其分配到的数据块的处理，处理完成之后向Master挖掘代理节点报告状态和结果。

2.根据权利要求1所述的基于MPP的并行数据挖掘系统，其特征在于：所述的挖掘引擎节点对挖掘引擎节点以及挖掘代理节点的计算资源进行监管，对消息的发送、接收、解析及分发，对挖掘任务的监管、调度以及负载均衡处理。

3.根据权利要求2所述的基于MPP的并行数据挖掘系统，其特征在于：所述挖掘引擎节点将消息分成如下类型：耗时的挖掘任务消息、挖掘引擎和挖掘代理监管消息、客户端查询消息、模型的实时调用消息、内部消息。

4.根据权利要求2所述的基于MPP的并行数据挖掘系统，其特征在于：所述的挖掘引擎节点和挖掘代理节点之间是松耦合的关系，并通过消息中间件异步交互；在挖掘引擎节点和挖掘代理节点内部，当传递任务参数及计算指令时使用JMS，当挖掘代理节点之间交换大数据量时使用FTP。

5.根据权利要求2所述的基于MPP的并行数据挖掘系统，其特征在于：所述挖掘引擎节点在收到挖掘任务消息时，将其解析并放入到对应类型的任务池中，由任务调度模块按照内置的调度策略以及负载均衡策略，进行资源申请和分配，将分配好的任务再次封装成消息发送到对应挖掘代理节点的消息队列中。

6.根据权利要求5所述的基于MPP的并行数据挖掘系统，其特征在于：所述内置的调度策略包括以下六种：按优先级调度、关联调度、先来先服务调度、定时调度、周期调度和消息触发调度；所述的负载均衡策略包括以下四种：权重轮询均衡、处理能力均衡、响应速度均衡和随机均衡。

7.根据权利要求1所述的基于MPP的并行数据挖掘系统，其特征在于：所述的挖掘代理节点作为挖掘任务的主要执行单元，管理挖掘代理节点相关计算资源，接收和解析挖掘引擎节点分配的挖掘任务，执行Master挖掘代理节点分配的挖掘子任务，并和Master挖掘代理节点进行通信。

8.一种如权利要求1至7任一项所述基于MPP的并行数据挖掘系统的实现方法，其特征在于包括以下步骤：

步骤1、挖掘引擎节点根据各挖掘代理节点当前的数据挖掘任务负载情况，将当前数据挖掘任务分配给数据挖掘任务负载较少的挖掘代理节点，将其作为该数据挖掘任务的Master挖掘代理节点；

步骤2、Master挖掘代理节点同分布式数据存储系统或MPP数据库的分布式数据访问引擎进行通信获取数据的分布情况，然后结合当前各挖掘代理节点的计算负载和资源情况，按照该挖掘任务的Master算子，将数据挖掘任务拆分成若干个并行的子任务，采用数据分布的负载均衡及就近挖掘策略向挖掘代理节点分发挖掘任务；

步骤3、每个挖掘代理节点按照分配的子任务执行Slaver算子,每个Slaver算子只进行对其分配到的数据块的处理，处理完成之后向Master挖掘代理节点报告状态和结果。