[发明专利]一种大数据分析挖掘系统

说明书

本发明公开一种大数据分析挖掘系统，包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，各数据分析模块根据接口进行各自的单一功能实现，同时从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块根据传入的结构化文档进行解析，并从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块，执行模块功能，从而得到最终所需数据。此种系统可节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。

技术领域

本发明属于大数据分析领域，特别涉及一种基于XML和JSON等结构化文档的模块聚合大数据分析挖掘系统。

背景技术

在信息技术不断发展的时代背景下，每天都在产生海量数据，大数据分析在各行业领域中被广泛应用，甚至已经逐渐开始渗入到我们的日常生活中。高效灵活的数据分析挖掘架构是大数据系统领域研究最多的课题之一，其主要的作用就是将数据库中存储的海量数据按照需求进行有效分析并灵活地合并统计为所需的大数据报表，以此来做好相应的具有意义的判断。

随着互联网时代的到来，网络数据的不断增加，对各种网络数据进行分析统计的诉求也随之而来，目前产业上对数据的分析还停留在根据需求进行特定分析模块特制开发的阶段上，无法以通用的形式对数据分析挖掘需求进行灵活的分拆整合。因此，将各种数据分析需求拆分为多个单一的实现模块并以结构化文档将其聚合的系统是一个可行解决方案。

发明内容

本发明的目的，在于提供一种大数据分析挖掘系统，其可节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。

为了达成上述目的，本发明的解决方案是：

一种大数据分析挖掘系统，包括数个数据分析模块、数据分析模块管理器、数个数据挖掘模块、数据挖掘模块管理器和框架执行模块，其中，数据分析模块定义统一的模块接口，各数据分析模块根据接口进行各自的单一功能实现，同时各数据分析模块从原始数据库中获取数据进行分析并存入各自的模块数据库中；多个数据分析模块由数据分析模块管理器进行统一管理；数据挖掘模块定义统一的模块接口，各数据挖掘模块根据接口进行各自的单一功能实现；多个数据挖掘模块由数据挖掘模块管理器进行统一管理；框架执行模块负责根据传入的结构化文档进行解析，并根据文档结构与参数从数据分析模块管理器和数据挖掘模块管理器中提取对应功能的实现模块，构建形成聚合模块，根据预先定义的统一分析模块接口跟统一挖掘模块接口执行模块功能，从而得到最终所需数据。

上述各数据挖掘模块还内置有原始数据库接口，用于从原始数据库提取原始数据。

上述各数据挖掘模块还内置有数据分析模块管理器，用于从各个分析模块预处理数据库中提取数据，并根据实现的数据挖掘算法生成各自的统计数据。

上述结构化文档为XML或JSON文档。

采用上述方案后，本发明通过对数据分析需求的拆解、单一功能的模块化实现和基于结构化文档最终模块聚合，实现灵活的数据挖掘系统，可在不改变系统框架代码等的前提下，通过增加分析模块和挖掘模块和调整传入文档结构，自动适应不同的数据挖掘需求，不需要再根据不同数据挖掘需求重复开发对应的功能，节省人力资源，提高需求响应效率，为不同数据挖掘需求提供便利。本发明适用于各种数据挖掘场景。

附图说明

图1是本发明的整体架构图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。