[发明专利]一种基于管道筛选的数据挖掘方法

说明书

本发明公开了一种基于管道筛选的数据挖掘方法，包括以下步骤，第一步：采集数据记录；第二步：将数据记录放入过滤管道；第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；第四步：将筛选后的数据存入数据仓库；第五步：从数据仓库提取数据。本发明采用管道过滤，数据量和硬件要求低，适合中小型企业，数据挖掘更精准。

技术领域

本发明涉及计算机数据分析和挖掘，特别是一种基于管道筛选的数据挖掘方法。

背景技术

传统的方法是先把数据存入数据仓库，再通过数据特点分析，挖掘出有用的信息。

现有的数据挖掘和分析技术目前已经比较成熟，但针对数据集成日益丰富的需求，对于一般企业而言，目前的数据挖掘存在以下问题。第一，数据库挖掘建立在海量数据基础上，需要硬件设施也是非常昂贵。目前也就是Goog l e，亚马逊，淘宝等巨头公司在使用。第二，数据挖掘需要的技术算法复杂，一般的公司不具备这样的人才。

发明内容

本发明的目的是提供一种基于管道筛选的数据挖掘方法。本方法主要解决大型数据挖据在一般企业中应用存在的以下问题，第一，数据量问题和硬件问题，大型数据挖掘是以海量数据为基础，用过样本分析获取结果。而本方法，不需要海量样本，也不需要很多硬件。第二，本方法主要基于规则过滤，而不是样本分析，所以数据分析更精准。

本发明采用的技术方案是：

一种基于管道筛选的数据挖掘方法，包括以下步骤

第一步：采集数据记录；

第二步：将数据记录放入过滤管道；

第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；

第四步：将筛选后的数据存入数据仓库；

第五步：从数据仓库提取数据。

所述筛选规则基于数据记录中待筛选的数据分析需求制定而成。

所述筛选规则在过滤管道中设置有动态添加与删除选项。

所述数据仓库按照筛选规则将数据归类存储。

所述过滤管道在自定义的数据挖掘周期到达之后自动移除筛选规则。

本发明的有益效果：1，采用管道过滤，数据量和硬件要求低，适合中小型企业，数据挖掘更精准。2，筛选规则可自定义，热插拔，充分满足企业个性化需求。

附图说明

下面结合附图对本发明的具体实施方式做进一步的说明。

图1是本发明数据挖掘方法的示意图；

图2为本发明具体实施例的示意图。

具体实施方式

如图1所示，为本发明的一种基于管道筛选的数据挖掘方法，包括以下步骤

第一步：采集数据记录；

第二步：将数据记录放入过滤管道；

第三步：通过过滤管道里的筛选规则对数据记录进行分类筛选；所述筛选规则基于数据记录中待筛选的数据分析需求制定而成，筛选规则在过滤管道中设置有动态添加与删除选项。

第四步：将筛选后的数据存入数据仓库；过滤管道在自定义的数据挖掘周期到达之后自动移除筛选规则。

第五步：从数据仓库提取数据，数据仓库按照筛选规则将数据归类存储。

如图2所示，实施例1：具体分析产品销售情况，以分析5月内土豆，菠萝，苹果销售情况为例。