[发明专利]基于Web架构的海量网络大数据挖掘系统

说明书

本发明公开了一种基于Web架构的海量网络大数据挖掘系统，该系统包括：数据源层、业务逻辑层、表示层以及客户层；其中，所述数据源层处于系统的底端，负责数据清理、数据集成、数据规约，并且提供数据给所述业务逻辑层；所述业务逻辑层负责处理应用的核心业务逻辑即所有算法的调度，并为所述数据源层提供必要的接口；所述表示层负责映射所述业务逻辑层中的Java对象到Flex对象、RTMP(Real Time Message Potocol)、代理，并在服务端生成PDF等；所述客户层负责将专业的数据挖掘结果更为生动、易于理解地展示给大众用户。

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于Web架构的海量网络大数据挖掘系统。

背景技术

随着数据挖掘技术的发展，数据挖掘系统的开发也成为一个新的研究热点。从第一代数据挖掘软件的代表CBA，到后来的DBMiner、SASEnterpriseMnier、SPSSClementine以及现在的第四代商业数据挖掘模型，无不是数据挖掘技术逐渐成熟的体现，但目前流行的商用软件都是单机版的数据挖掘系统。从国内外已发表的数据挖掘的论文中可以看到有提到网络数据挖掘，但这种系统是偏重于网络数据的挖掘，在系统的体系结构上没有做出改变。

随着Internet技术的发展，对数据挖掘系统的体系从主机模式向基于Web的多层跨平台的B/S模式转化提出了挑战。

基于Web的系统表示层建立在“瘦客户”的基础上，其处理能力以及表现效果非常有限，而数据挖掘系统需要丰富的数据可视化、数据挖掘过程的可视化以及数据挖掘结果的可视化。所以，传统基于静态页面的网络系统已经不能满足数据挖掘系统的可视化要求。

发明内容

本发明目的在于提供一种基于Web架构的海量网络大数据挖掘系统，针对传统的网络数据挖掘系统常强调挖掘的是网络数据，而在系统的体系结构上并没有做出相应地改变，导致其处理能力以及表现效果非常有限的问题，通过引用Flex与Spring技术，提高了网络数据挖掘系统的跨平台性、算法的可移植性以及使客户层有更丰富、更具交互性与响应性的用户体验。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Web架构的海量网络大数据挖掘系统，该系统包括：数据源层、业务逻辑层、表示层以及客户层；其中，所述数据源层处于系统的底端，负责数据清理、数据集成、数据规约，并且提供数据给所述业务逻辑层；所述业务逻辑层负责处理应用的核心业务逻辑即所有算法的调度，并为所述数据源层提供必要的接口；所述表示层负责映射所述业务逻辑层中的Java对象到Flex对象、RTMP(Real Time Message Potocol)、代理，并在服务端生成PDF等；所述客户层负责将专业的数据挖掘结果更为生动、易于理解地展示给大众用户。

进一步地，所述数据源层以两种方式提供算法所需的数据：一种是通过数据仓库；另一种是将文本格式化为统一格式后，再提供给所述业务逻辑层调用。

进一步地，所述业务逻辑层采用Spring框架来统一管理业务逻辑对象。

进一步地，所述表示层采用Flex体系结构，将从所述业务逻辑层返回的数据通过MXML标记语言解释生成对应的SWF文件。

进一步地，所述客户层即支持SWF文件格式运行的Web浏览器。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对传统的网络数据挖掘系统常强调挖掘的是网络数据，而在系统的体系结构上并没有做出相应地改变，导致其处理能力以及表现效果非常有限的问题，通过引用Flex与Spring技术，提高了网络数据挖掘系统的跨平台性、算法的可移植性以及使客户层有更丰富、更具交互性与响应性的用户体验。

附图说明

图1是基于Web架构的海量网络大数据挖掘系统的整体框架图