[发明专利]工业过程中海量数据处理和存储过程的优化执行估算方法

说明书

本发明公开了一种工业过程中海量数据处理和存储过程的优化执行估算方法，它包括S1：对工业数据采集系统进行结构化建模；S2：根据模型计算工业数据处理和存储过程的期望性能指标；S3：建立海量数据处理层、传输层和存储层的策略；S4：从数据库中提取与性能指标有关的过程参数；S5：计算实际性能指标；S6：对比期望性能指标和实际性能指标，调整下一周期的数据处理和存储机制，直到工业数据采集系统各项性能达到要求。本发明取得的有益效果是：可以提高整个数据采集存储过程的效率，将数据有序的分类、挖掘，并节省存储空间，优化工业过程中海量数据的采集存储过程，为后续数据分析做准备。

技术领域

本发明涉及计算机数据采集、传输和存储技术领域，特别是一种工业过程中海量数据处理和存储过程的优化执行估算方法。

背景技术

在工业物联网，多种多样的传感器广泛地部署在工业生产环境中，大型工业数据采集系统要求数据采集、处理和存储具有高并发性和高实时性。传统的工业数据采集系统在提取海量数据、处理数据时需要花费比较多的资源和时间，并且数据存储效率比较低，数据采集系统存在数据融合能力、拓展能力、通用能力和灵活性欠缺的问题，这些都降低了整个系统的性能指标，同时增大了系统的运行负载。

在未来的工业数据采集系统中，会产生以下的趋势：(1)需要采集的数据量巨大；(2)需要采集的数据种类繁多；(3)将大量数据统筹分析，并将结果反馈于生产。针对现有固定模式的数据采集体系在对数据记录高并发性和数据的海量性采集、处理和存储能力不足，可以通过调整工业过程海量数据在处理、传输和存储过程中各个环节的不同机制来进行优化，使工业海量数据采集系统更为灵活适用。

因此，亟需一种基于工业现场的海量数据采集过程的优化执行估算方法。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的就是提供一种工业过程中海量数据处理和存储过程的优化执行估算方法，可以提高整个数据采集存储过程的效率，将数据有序的分类、挖掘，并节省了存储空间，优化工业过程中海量数据的采集存储过程，为接下来的数据分析做准备。

本发明的目的是通过这样的技术方案实现的，一种工业过程中海量数据处理和存储过程的优化执行估算方法，它包括有：

S1：对工业数据采集系统进行结构化建模；

S2：根据模型计算工业数据处理和存储过程的期望性能指标；

S3：建立海量数据处理层、传输层和存储层的策略；

S4：从数据库中提取与性能指标有关的过程参数；

S5：计算实际性能指标；

S6：对比期望性能指标和实际性能指标，调整下一周期的数据处理和存储机制，直到工业数据采集系统各项性能达到要求。

进一步，所述步骤S1的具体步骤如下：

S11：定义工业过程数据采集流程中的关键进程；

S12：明确工业过程数据采集流程之间的时间和空间关系；

S13：分别对数据处理、传输和存储中的各个关键进程进行建模。

进一步，所述步骤S2的具体步骤如下：

S21：确定影响工业过程数据处理和存储的各项性能指标；

S22：通过对关键进程的模型进行优化并提取关键参数，根据关键参数与性能指标之间的数学公式计算期望性能指标，或者直接根据需求定义期望性能指标。

进一步，所述步骤S3中建立海量数据处理层的策略具体步骤如下：

S31：判断从各个传感器接收到的数据类型，按常见的工业数据结构进行分类后按分布式处理；