[发明专利]基于数据分析的分布式数据清洗系统及方法

摘要

本发明属于数据处理技术领域，提供了一种基于数据分析的分布式数据清洗系统及方法。该系统包括传感器网络，包括多个传感器；数据采集节点，包括数据清洗引擎和数据清洗规则库；数据服务器，包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块。该方法包括通过传感器网络中的多个传感器采集第一数据；在数据采集节点中根据第一数据生成第二数据；在数据服务器中，根据第二数据，利用数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块完成数据清洗。本发明的系统和方法能够自适应地调整数据清洗规则，提高分布式传感器网络部署的效率，并及时消除新产生的干扰对采集系统的影响。

主权项

一种基于数据分析的分布式数据清洗系统，包括：传感器网络，包括多个传感器，用于采集第一数据；数据采集节点，包括数据清洗引擎和数据清洗规则库；所述数据清洗引擎根据传感器标识在所述数据清洗规则库中找到针对不同传感器所设定的数据清洗规则，并通过执行所述数据清洗规则，来完成对不同传感器采集的第一数据的清洗工作，并生成第二数据；数据服务器，包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块；所述第二数据传输到并储存于所述数据库中，所述数据有效性分析模块用于对已经存储在所述数据库中的历史数据，进行自相关的和互相关的数据有效性验证分析，并将分析结果输入到所述数据清洗规则生成模块；所述数据清洗规则生成模块则依据输入的有效性验证分析结果，来判断当前的针对某个传感器的清洗规则是否需要修正；如果需要修正，则根据所述有效性验证分析结果产生新的针对某个传感器的清洗规则，并将新的数据清洗规则发送给所述数据清洗规则发布模块；所述数据清洗规则发布模块将所述数据清洗规则生成模块新产生的清洗规则，发送到相应的数据采集节点，并更新所述数据采集节点中的所述数据清洗规则库，从而使得新产生的数据清洗规则能够被所述数据清洗引擎所执行，并达到使用新的数据清洗规则完成针对相应传感器的数据清洗工作的目的。