[发明专利]一种基于工业大数据的函数自动挖掘方法和装置

说明书

本发明提供一种基于工业大数据的函数自动挖掘方法和装置，该方法包括：获取工业大数据，并对所述工业大数据进行预处理；基于预处理后的所述工业大数据，获取数据宽表；其中，所述数据宽表用于存储待进行函数挖掘的数据；对所述宽表中的数据进行数据画像，得到所述宽表中的数据的数据分布，并根据所述数据分布得到基于权重的函数映射集合；基于目标参数，从所述宽表中获取关键数据；其中，所述目标参数为待挖掘的函数的因变量；将所述函数映射集合和所述关键数据输入至符号回归预测模型，自动得到所述工业大数据的函数挖掘结果。本发明实现了函数挖掘效率和准确性的有效提高。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种基于工业大数据的函数自动挖掘方法和装置。

背景技术

在工业领域，如大规模工程机械制造(飞机、轮船、汽车和大型工程机器)、能源生产环境(采掘，钻井)、建筑施工环境(如大型建筑物的建造)等，涉及高度复杂的机器、设备、系统和高度复杂的工作流程。物联网(Internet of Things，IoT)的出现使人们能够持续连接更广范围的设备，并在这些设备之间实现数据获取。但是在高度复杂的工业环境中设备会产生大量数据，而可用数据范围往往很有限，且处理来自多个设备的数据又非常繁琐复杂。

函数挖掘是一种利用符号回归算法试图发现某种隐藏的数学公式，以此利用特征变量预测目标变量的监督学习方法。与传统的回归方法，如线性回归、多项式回归、人工神经网络等相比，函数挖掘不需要事先给定具体函数形式，不需要任何先验知识和模型，同时能够提供直观显式的函数表达式模型，有助于研究者理解和分析待研究系统的内在机理。因此，函数挖掘近年来被应用于诸如时间序列预测、数据挖掘、模式分类和系统设计优化等领域，目前已成为智能计算领域的一个研究热点。然而，由于工业大数据复杂且高维，导致函数挖掘的搜索空间非常庞大，搜索效率极低，且数据干扰性强，从而无法保证函数挖掘的效率和准确性。

发明内容

本发明提供一种基于工业大数据的函数自动挖掘方法和装置，用以解决现有技术中函数挖掘的效率和准确性低的缺陷，实现函数挖掘效率和准确性的有效提高。

本发明提供一种基于工业大数据的函数自动挖掘方法，包括：

获取工业大数据，并对所述工业大数据进行预处理；

基于预处理后的所述工业大数据，获取数据宽表；其中，所述数据宽表用于存储待进行函数挖掘的数据；

对所述宽表中的数据进行数据画像，得到所述宽表中的数据的数据分布，并根据所述数据分布得到基于权重的函数映射集合；

基于目标参数，从所述宽表中获取关键数据；其中，所述目标参数为待挖掘的函数的因变量；

将所述函数映射集合和所述关键数据输入至符号回归预测模型，自动得到所述工业大数据的函数挖掘结果。

根据本发明提供的一种基于工业大数据的函数自动挖掘方法，所述基于预处理后的所述工业大数据，获取数据宽表，包括：

基于预处理后的所述工业大数据，构建逻辑模型和物理模型；其中，所述逻辑模型用于指示所述工业大数据的存储表的格式；所述物理模型用于指示所述工业大数据中待存储到所述存储表的数据实体；

基于预处理后的所述工业大数据，建立业务模型与数据模型的映射关系，基于所述映射关系，从所述存储表中获取所述数据宽表；其中，所述业务模型用于指示所述工业大数据中各工作任务对应的参数，以及各参数之间的关系；所述数据模型用于指示所述参数的参数值。

根据本发明提供的一种基于工业大数据的函数自动挖掘方法，所述获取工业大数据之后，还包括：

通过数据仓库对所述工业大数据进行存储；其中，所述数据仓库基于不同的存储粒度对所述工业大数据进行分层存储。