[发明专利]一种分布式数据挖掘系统及方法

摘要

本发明提供了一种分布式数据挖掘系统及方法，涉及数据挖掘技术领域。系统中先由第一控制服务器作为工作节点；并由第二控制服务器实时监控，在确认第一控制服务器发生故障时，向前置服务器发送工作节点更替请求，完成工作节点的更替。从而在完成工作节点切换后，恢复整个分布式数据挖掘系统的正常工作。本发明可以避免当前作为主控节点的JobTracker服务器一旦出现故障则将导致整个hadoop框架的任务调度体系陷入瘫痪，无法完成任务调度和处理的问题。

主权项

1.一种分布式数据挖掘系统，其特征在于，包括：用户终端组、前置服务器组、第一控制服务器、第二控制服务器以及运算服务器组；所述用户终端组包括多个用户终端；所述前置服务器组包括多个前置服务器；所述运算服务器组包括多个运算服务器；所述用户终端组与所述前置服务器组通信连接；所述前置服务器组分别与所述第一控制服务器、第二控制服务器和所述运算服务器组通信连接；所述用户终端，用于向所述前置服务器发送数据挖掘任务请求；所述前置服务器，用于解析所述数据挖掘任务请求的域名信息，根据所述数据挖掘任务请求的域名信息将所述数据挖掘任务请求提交到作为工作节点的第一控制服务器；所述第一控制服务器，用于将所述数据挖掘任务请求对应的数据挖掘任务进行分解，形成多个数据挖掘子任务；将所述多个数据挖掘子任务发送给所述前置服务器；所述前置服务器，还用于将所述多个数据挖掘子任务分配到多个运算服务器处进行处理，并接收运算服务器的任务反馈信息，并将所述任务反馈信息发送给所述第一控制服务器；所述第一控制服务器，还用于将所述任务反馈信息实时同步发送到第二控制服务器处；所述第二控制服务器，用于实时监控所述第一控制服务器，在确认所述第一控制服务器发生故障时，向所述前置服务器发送工作节点更替请求；所述前置服务器，还用于根据所述工作节点更替请求，更新记录所述第二控制服务器的网络地址，以使得所述第二控制服务器作为工作节点；所述第二控制服务器，还用于向各运算服务器广播任务信息收集请求；所述运算服务器，还用于在监听到所述广播任务信息收集请求时，向所述前置服务器反馈任务情况信息；所述前置服务器，还用于将所述任务情况信息发送给所述第二控制服务器；所述第二控制服务器，还用于对所述任务情况信息和所述任务反馈信息进行对比，确定所述任务情况信息和所述任务反馈信息的差异信息，并根据预先设置的处理策略，对所述差异信息进行处理；所述前置服务器，还用于获取前置服务器组中的其他前置服务器的运行状态信息；在所述其他前置服务器的运行状态为故障状态时，接收与其他前置服务器连接的用户终端的连接请求，并建立通信连接。