[发明专利]一种数据挖掘系统和方法

说明书

技术领域

本发明涉及一种数据挖掘系统和方法，属于互联网技术领域。

背景技术

随着互联网、移动互联网、社交媒体等的迅猛发展，时刻都有无数的信息充斥在各个角落，如何从这些海量的信息中获取所需的信息即数据挖掘就成为了一个亟待解决的问题。

目前的数据挖掘大多采用应用程序(Application，APP)加接口的方式，即APP对数据的组织和呈现进行要求，然后底层数据源实现接口来提供数据支撑。然而，APP不同或APP中的场景不同都会对底层数据的接口要求不同，这就需要开发无数个接口来满足上层APP的需要。而对于数据源而言，数据并没有变化，只是面向不同的APP，需重新对数据进行组织和封装。这样，现有的数据挖掘采用的是APP和数据源的紧耦合方式，使得数据挖掘的灵活性不高，并且，使得基于多数据源的数据挖掘过程比较费时费力，应用不够简便。同时由于信息时代带来的数据的量呈指数上升，如果对于所有的数据不加以甄别和过滤，会将大量重复和无效数据的引入，增加了数据挖掘系统的负担，同时对数据挖掘与分析的结果产生一定的影响。

发明内容

针对目前存在的问题，本发明提供了一种数据挖掘系统和方法，通过对重复数据和无效数据的甄别和过滤，有效减轻了数据挖掘系统的负担，避免其对数据挖掘与分析结果产生的影响。

一种数据挖掘系统，其由数据采集单元、数据转换单元、数据整合分析单元、数据储存单元以及数据反馈单元组成，其中：

所述数据采集单元，用于从对应的数据源中提取挖掘数据，并通过所述数据转换单元将所述挖掘数据提供给所述数据挖掘系统；

所述数据转换单元，用于将所述数据采集单元提取的挖掘数据经过压缩、过滤、汇总、集聚，将数据转换成元数据，然后将元数据提供给所述的数据整合分析单元；

所述数据整合分析单元，用于将所述数据转换单元提供的元数据进行整合分析，将整合分析后的有益元数据提供给所述数据储存单元，并剔除剥离整合分析后的无效元数据；

所述的数据储存单元，用于将所述数据整合分析单元经过整合分析后的有益元数据存储起来；

所述的数据反馈单元，用于将所述数据整合分析单元的整合分析结果反馈给所述数据采集单元和所述数据转换单元，使得所述数据采集单元和所述数据转换单元对无效数据和重复数据进行识别，从而使得所述数据采集单元对无效数据和重复数据不再进行采集，所述数据转换单元对无效重复数据不再进行转换而直接丢弃。

所述数据采集单元为一个或一个以上，相互之间连接成一个网状结构，采集的数据在所述的数据采集单元之间流通和共享，再将数据传输给所述数据转换单元，所述数据采集单元具有甄别和过滤功能，将所述数据反馈单元反馈的信息指令接收并执行。

所述数据转换单元具有过滤和丢弃功能，将所述数据反馈单元提供的无效数据和重复数据的信息接收，并再下次接收到同样信息时过滤并丢弃掉。

所述数据整合分析单元具有概念和类别描述、关联分析、分类与估值、聚类分析、时间序列分析、数学分析的功能，对所述数据转换单元输入的元数据按照数据挖掘系统的指令进行整合分析。

所述数据储存单元具有储存和整理功能，对所述数据整合分析单元输入的数据进行储存和整理，同时根据数据挖掘系统的指令对储存数据进行输出和分类操作。

所述数据反馈单元有传输指令和控制的功能，根据数据挖掘系统的指令对所述数据采集单元进行控制。

数据挖掘方法为，数据挖掘系统下达数据挖掘指令给数据反馈单元，所述数据反馈单元将所述数据挖掘指令下达给所述数据采集单元，所述数据采集单元开始进行数据采集，所述的采集的数据经过数据转换单元将其转换成元数据，所述数据整合分析单元对所述元数据进行整合分析，将有用元数据传输到数据储存单元进行储存。

所述的数据整合分析单元将无效数据和重复数据信息输入数据反馈单元，所述数据反馈单元将无效数据和重复数据信息反馈至数据采集单元，所述数据采集单元对再次输入的相同数据进行甄别与过滤，避免了无效数据和重复数据的再次输入。

具体运行过程如下：