[发明专利]一种分布式系统挖掘数据的清洗方法

摘要

本发明涉及一种分布式系统挖掘数据的清洗方法，根据各个计算节点的运行负载选择其一充当数据清洗节点，将数据挖掘的前期数据清洗准备工作从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度，另外由于是根据数据清洗节点的运行负载来选择合适的数据清洗模式，保证数据清洗任务实现的同时不影响数据清洗节点本身其他任务的运行。

主权项

1.一种分布式系统挖掘数据的清洗方法，其特征在于，该方法包括如下步骤：(1)将分布式系统中的节点按照性能划分为多个计算节点和一个控制节点，所述分布式系统中作为计算机资源的计算节点组成机群、提供计算机资源给控制节点，控制节点中存储有调度线程、负载监控线程、数据清洗线程和数据挖掘线程，其中控制节点负责分布式系统中的任务调度、各个计算节点的负载监控以及对外提供服务，所述服务包括数据挖掘服务；(2)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；(3)当控制节点接收到数据挖掘服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据清洗节点，控制节点将其存储的数据清洗线程和所监测的上述数据清洗节点的当前负载运行状态传送给上述数据清洗节点；(4)所述数据清洗节点接收上述数据清洗线程和当前负载运行状态，保存在本地，其中数据清洗线程由抽象组件来实现，包括输入构件、清洗服务组件、输出组件、连接组件和数据容器组件，输入组件用于清洗过程中从数据源提取数据，输出组件用于将清理的数据存入数据容器，所述连接组件用于粘合一个组件的输出端口和另一个组件的输入端口，数据容器组件用于存储清洗数据，清洗服务组件用于实现多个数据清洗功能；其中清洗服务组件包括数据标准化模块、错误数据查找模块、重复数据删除模块、数据关联、数据合并、数据分析、数据增强模块，其中数据标准化模块、错误数据查找模块和重复数据删除模块为基本清洗模块集，数据关联、数据合并为提高清洗模块集，数据分析、数据增强为附加清洗模块集；(5)所述数据清洗节点将存储的当前负载运行状态与第一预设负载阈值进行比较，如果当前负载运行状态不低于第一预设负载阈值，则数据清洗节点选择基本清洗模块集、输入组件、连接组件、数据容器组件和输出组件构成新数据清洗线程并运行，实现基本数据清洗任务；如果当前负载运行状态低于第一预设负载阈值，则将当前负载运行状态与第二预设负载阈值进行比较；如果当前负载运行状态不低于第二预设负载阈值，则数据清洗节点选择基本清洗模块集和提高清洗模块集以及输入组件、连接组件、数据容器组件、输出组件构成新数据清洗线程并运行，实现提高数据清洗任务，如果当前负载运行状态低于第二预设负载阈值，则数据清洗节点选择基本清洗模块集、提高清洗模块集和附加清洗模块集以及输入组件、连接组件、数据容器组件、输出组件构成新数据清洗线程并运行，实现附加数据清洗任务。