[发明专利]一种基于动态插值的城市污水处理过程数据清洗方法

说明书

一种基于动态插值的城市污水处理过程数据清洗方法于污水处理领域，针对城市污水处理过程数据中含有离群值和连续重复值混合导致数据质量差的问题。该动态插值方法通过滑动窗口对数据段进行分割，计算分割后数据段的异常因子系数，判定数据段异常情况，剔除异常数据段内的离群值和连续异常值，采用随机森林回归模型对缺失数据进行补偿，提高了城市污水处理过程数据的质量；实验结果表明该方法提高了数据补偿的精度，保障在城市污水处理工业中数据库的数据质量，提高了污水处理厂的研究提的可信度。

技术领域

本发明在城市污水处理过程运行数据的分析基础上，通过滑动窗口对数据进行分段，计算每一段数据内异常因子系数，判定数据段异常情况，对异常数据段进行异常值剔除，用随机森林回归模型预测插值，以动态插值的方式实现城市污水处理过程数据的清洗。这种基于动态插值的城市污水处理过程数据清洗方法在实际过程中，能够清洗城市污水处理过程数据中含有的离群值和连续重复值混合数据，提高了城市污水处理过程数据的可信度，属于污水处理领域。

背景技术

在城市污水处理工业领域，由于受数据来源多样性、网络设备环境的复杂性以及推流等影响，检测数据质量低成为了城市污水处理工业中面临的一个比较突出的问题，这将会对城市污水处理工业中数据仓库的建立造成不良影响。得到高质量数据可以提高对城市污水处理过程研究的可信度，因此，本发明的研究成果对城市污水处理研究具有广阔的应用前景。

城市污水处理数据是实现城市污水处理过程运行状态监测、操作优化控制以及故障诊断等环节的重要依据，是提高城市污水处理效率和运营监管水平的信息基础。由于城市污水处理过程是一个包含许多复杂处理工艺的生化过程，长期稳定运行较为困难，系统工作环境复杂干扰较强，运行过程多处于泥水混合状态，具有腐蚀性强、干扰多、滞后性等特点，导致异常数据难以精确识别、剔除和补偿，从而无法进行有效的处理，严重降低了数据应用的数据可靠性，这为城市污水处理过程数据的分析、处理和运用挖掘带来困扰。如何获取高质量数据，降低异常数据影响已成为城市污水处理过程数据应用面临过程的挑战，为此，污水处理厂通常在数据应用过程中采用数据预处理方法，首先识别异常数据特征，对异常数据进行剔除，形成缺失数据集，再对缺数据集进行数据补偿操作，以提高数据质量，保证数据应用过程的可信度。然而，城市污水处理过程数据存在异常特征多样，包括离群数据、重复数据和缺失数据等，异常数据难以被识别和重新补偿，导致数据清洗效果不理想，因此本发明在提高出异常数据清洗效果上具有重要的现实意义。

本发明设计了一种基于动态插值的城市污水处理过程数据清洗方法，该方法利用滑动窗口对数据段进行分割，计算分割后数据段的异常因子系数，判定数据段异常情况，并剔除异常数据断内的异常值，用随机森林回归算法对缺失数据进行补偿，提高了数据异常处理过程中的准确度，以动态插值的方式为获得高质量的城市污水处理过程数据提供了一种有效的方法，实现污水处理厂的实际需求。

发明内容

本发明获得了一种基于动态插值的城市污水处理过程数据清洗方法，该方法通过滑动窗口对数据段进行分割，计算分割后数据段的异常因子系数，判定数据段异常情况；剔除异常数据段内的离群值和连续重复值；采用随机森林回归模型对缺失数据进行补偿，获得高质量城市污水处理过程数据，解决了城市污水处理过程数据中离群值和连续重复值处理效果不理想的问题，提高了城市污水处理过程数据的数据质量并具有较好的数据准确度。

本发明采用了如下的技术方案及实现步骤：

一种基于动态插值的城市污水处理过程数据清洗方法，其特征在于，包括以下步骤：

(1)数据选择：