[发明专利]基于Agent的分布式海量数据挖掘系统

说明书

本发明公开了一种基于Agent的分布式海量数据挖掘系统，该系统包括：用户层、系统控制层、数据挖掘层及数据源层；其中，所述用户层负责提供用户与系统交互的接口，主要完成用户身份的验证、用户输入的采集、挖掘的过程以及最终结果的输出；所述系统控制层负责响应所述用户层提交的请求，并控制整个系统的有效运行；所述数据挖掘层由多个移动agent并行完成挖掘任务，负责实现对整个分布式数据环境的透明访问，将访问结果提交给所述系统控制层；所述数据源层负责提供数据查询及格式转换服务，为所述数据挖掘层提供数据支持。本发明方案引入数据挖掘算法，通过运用、扩展数据挖掘语言，有效地实现了对分布的、异构异质数据源的集成和访问。

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于Agent的分布式海量数据挖掘系统。

背景技术

目前越来越多企业的数据资源开始存放于地理位置分布的、异构异质的数据库中，面对分布式数据源，集中式数据挖掘将产生明显的缺陷：首先，要把大量的、分布的数据集中到一起，将导致响应时间过长，并浪费大量网络带宽资源；其次，挖掘算法通常需要大量的计算资源，这要求执行挖掘的计算机有相当高的性能，而其他分布式站点却不能被有效地利用，造成了负载不均和计算资源的浪费；最后，数据的安全性、私有性等都会受到威胁和破坏。因此，分布式数据挖掘(distributed data mining)得到了越来越多的重视。

分布式数据挖掘研究主要是对分布式数据挖掘算法和分布式数据挖掘体系结构的研究。在体系结构方面，出现了基于不同技术的解决方案。

但现有分布式数据挖掘系统普遍存在一些问题：不能灵活提供多种挖掘功能，无法满足挖掘应用中的多种挖掘需求；体系基本封闭，只能使用当前挖掘系统提供的挖掘算法，无法对系统内的算法进行扩充；系统移植性差，集成代价高。

发明内容

本发明目的在于提供一种基于Agent的分布式海量数据挖掘系统，针对原有数据挖掘系统不能灵活提供多种挖掘功能、体系基本封闭以及系统移植性差的现状，引入数据挖掘算法，通过运用、扩展数据挖掘语言，解决了对各种数据挖掘算法进行规范化的难题，从而提供了良好的延伸性；采用基于KQML与XML组合的代理通信机制，保证了移动代理的跨平台性；引入虚拟全局数据处理中心及数据源服务agent，有效地实现了对分布的、异构异质数据源的集成和访问。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Agent的分布式海量数据挖掘系统，该系统包括：用户层、系统控制层、数据挖掘层及数据源层；其中，所述用户层负责提供用户与系统交互的接口，主要完成用户身份的验证、用户输入的采集、挖掘的过程以及最终结果的输出；所述系统控制层负责响应所述用户层提交的请求，并控制整个系统的有效运行；所述数据挖掘层由多个移动agent并行完成挖掘任务，负责实现对整个分布式数据环境的透明访问，将访问结果提交给所述系统控制层；所述数据源层负责提供数据查询及格式转换服务，为所述数据挖掘层提供数据支持。

进一步地，所述用户层通过人机接口，使用户有权选择挖掘模型、数据源、知识类型以及对特定的挖掘模型指定相关的参数。

进一步地，所述系统控制层由用户管理agent、调度控制agent、优化agent、知识过滤agent、移动代理控制中心、元数据库以及知识库组成，元数据用于描述系统中的数据与环境，知识库用于存储数据挖掘产生的各类知识。

进一步地，所述数据挖掘层引入了虚拟全局数据处理中心并利用XML以实现对数据源的集成和访问。

进一步地，所述数据源层的服务agent拥有本地局部数据的DTD，可完成数据格式的转换，还可审查对局部数据的访问权限以实现本地数据的安全性控制。

本发明与现有技术相比具有以下的有益效果：