[发明专利]一种基于模型集群的工业大数据自主挖掘方法

说明书

本发明公开了一种基于模型集群的工业大数据自主挖掘方法，包括以下步骤：S1、基于领域知识和多源异构数据的结构特征，构建模型集群和挖掘引擎；S2、对所述多源异构数据进行数据采样，并统计随机误差方差的容错估计；S3、利用挖掘引擎对数据集进行挖掘，确定每个采样数据序列的最优容错模型和模型参数的最优容错估计；S4、利用所述最优容错模型进行拟合优度统计量计算与VVA检验；S5、基于模型聚类，获取数据模型表示与内涵知识。本发明能够实现、大数据的挖掘过程自动化、关联知识可融入、模型集群可扩充、挖掘建模一体化和挖掘结果最优化。

技术领域

本发明涉及人工智能与工业自动化技术领域，特别是涉及一种基于模型集群的工业大数据自主挖掘方法。

背景技术

数据挖掘是智能计算和数据管理领域研究的热点问题。所谓工业数据挖掘是指从工业生产过程大量采样数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。

数据挖掘是一种决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。数据挖掘分为有指导的数据挖掘和无指导的数据挖掘。有指导的数据挖掘是利用可用的数据建立一个模型，利用模型描述一类特定属，实现从数据集合之中提取数据内在知识，例如，分类、估值和预测等，属于有指导的数据挖掘。无指导的数据挖掘是在所有的属性中寻找关系或知识，例如，关联规则挖掘和数据聚类，属于无指导的数据挖掘。目前，数据挖掘算法很多，主要包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等。

综合现有各种典型挖掘方法，无论是有指导的数据挖掘还是无指导的数据挖掘，从工业应用的角度分析，现有挖掘方法存在三个方面不利于大数据应用的局限性：(1)有指导的基于模型的挖掘，以国际上收据挖掘领域应用广泛的Clementine软件为例，挖掘过程需要人工干预的方式选定模型形式和数据文件，对挖掘过程而言，工作量、程序复杂，不利于大批量数据自动挖掘；(2)现有有指导的挖掘，其基本思路是每次采用一个模型从数据集合中提取知识，属于模型的被动使用，难题自动实现多模型比较和优化；(3)无指导的数据挖掘，实质上是“盲挖掘”，既不能确保挖掘一定能取得结果，也难以将先验知识融入数据挖掘过程，提高挖掘结果的质量。

发明内容

为了解决上述技术问题，本发明提供一种基于模型集群的工业大数据自主挖掘方法，基于模型集群而不是单个模型，通过知识与挖掘过程的深度融合，实现大数据挖掘过程自动化、先验知识自动融入和挖掘结果最优化。并且，模型集群的开放结构，不仅可确保数据先验知识的自动扩充而且实现了挖掘与建模的一体化。

为实现上述目的，本发明提出一种基于模型集群的工业大数据自主挖掘方法，包括以下步骤：

S1、基于领域知识和多源异构数据的结构特征，构建模型集群和挖掘引擎；

S2、对所述多源异构数据进行数据采样，并统计随机误差方差的容错估计；

S3、利用挖掘引擎对数据集进行挖掘，确定每个采样数据序列的最优容错模型和模型参数的最优容错估计；

S4、利用所述最优容错模型进行拟合优度统计量计算与VVA检验；

S5、基于模型聚类，获取数据模型表示与内涵知识。

优选的，所述模型集群包括：时间序列分析模型类、回归分析模型类、时变曲线拟合模型类和带故障数据类间歇过程模型。

优选的，所述挖掘引擎采用容错型挖掘引擎。

优选的，所述容错型挖掘引擎的构建方法为：

选取四种模型类中的其中一种和数据集群中的数据集合，构建最小二乘挖掘引擎；