[发明专利]煤电机组过程数据清洗方法、系统、介质、设备及终端

说明书

本发明属于数据处理技术领域，公开了一种煤电机组过程数据清洗方法、系统、介质、设备及终端，利用SIS历史数据库接口获取历史数据；基于分段箱形图进行奇异值处理；基于经验累积分布函数进行卡滞值处理；基于样条插值进行缺失值处理。本发明通过获取历史数据、奇异值处理、卡滞值处理以及缺失值处理，得到目标参数的有效过程数据，实现煤电机组过程数据的清洗。本发明针对从电站SIS系统获取煤电机组运行过程数据时出现的奇异值、卡滞值和缺失值三种错误情况，基于数理统计方法和样条插值方法设计了一套错误数据清洗流程，获得了机组运行有效过程数据，提高了煤电机组数据的准确性和可靠性，解决了煤电机组运行过程数据中的错误值问题。

技术领域

本发明属于数据处理技术领域，尤其涉及一种煤电机组过程数据清洗方法、系统、介质、设备及终端。

背景技术

目前，在煤电机组实际生产运行中，数以万计的测量传感器被布置在机组各个子系统及设备中，以获取机组运行过程中的状态监测指标，如振动、温度、压力和流量等。这些测量装置长期运行在复杂的干扰环境下，如高温、高压和电磁等，可能会导致数据采集过程中出现软硬件故障而严重影响测量的准确性和可靠性，如通信故障和传感器故障等。煤电机组运行过程数据中的错误值往往不能表示设备运行的健康状态，甚至会导致状态误判。在煤电机组的灵活性改造过程中，要求机组能够进行更加复杂的变工况运行；此时，提高机组运行过程中数值质量管理，有助于应对机组更加深度的灵活性调节所带来的挑战。当前应用于工业过程数据清洗的方法主要有：基于统计理论的方法、基于拟合残差的方法、基于机器学习的方法。煤电机组过程数据具有维度高、数据量大、实时产生、工况多变等特点，在实际生产过程中会出现不合理的奇异值、连续数值不变的卡滞值、信号丢失或存储错误的缺失值；传统的基于全局的统计理论方法会漏检局部的错误数据，基于拟合残差的方法对于数据卡滞检测存在困难，基于机器学习的方法对于模型的训练和更新需要复杂的调制，对于不同运行参数缺乏统一的指导。因此，亟需设计一种新的煤电机组过程数据清洗方法、系统。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有煤电机组测量装置长期运行在复杂的干扰环境下，可能会导致数据采集过程中出现软硬件故障而严重影响测量的准确性和可靠性。

(2)现有的煤电机组运行过程数据中的错误值往往不能表示设备运行的健康状态，甚至会导致状态误判。

(3)针对煤电机组运行数据的特点及错误数据类型，目前并没有完整的流程化处理手段。

发明内容

针对现有技术存在的问题，本发明提供了一种煤电机组过程数据清洗方法、系统、介质、设备及终端。

本发明是这样实现的，一种煤电机组过程数据清洗方法，所述煤电机组过程数据清洗方法包括：

依次通过获取历史数据、奇异值处理、卡滞值处理以及缺失值处理，得到目标参数的有效过程数据，实现煤电机组过程数据的清洗。

进一步，所述煤电机组过程数据清洗方法包括以下步骤：

步骤一，利用SIS历史数据库接口获取历史数据；

步骤二，基于分段箱形图进行奇异值处理；

步骤三，基于经验累积分布函数进行卡滞值处理；

步骤四，基于样条插值进行缺失值处理。

进一步，所述步骤一中的历史数据获取包括：

利用SIS历史数据库接口获取目标监测参数历史运行过程中的原始数据，基于运行记录剔除设备未运行的无效数据，得到反映设备健康状态的运行过程数据，表现为若干段连续的时间序列，记作“运行数据1”；设备的运行记录根据运行开关量获取，0表示停机，1表示运行；对于没有运行开关量的设备运行记录通过被监测参数达到某数值获取，当电机的电流大于20A表示设备在运行。