[发明专利]一种分布式系统挖掘数据的清洗方法

权利要求书

1.一种分布式系统挖掘数据的清洗方法，其特征在于，该方法包括如下步骤：

(1)将分布式系统中的节点按照性能划分为多个计算节点和一个控制节点，所述分布式系统中作为计算机资源的计算节点组成机群、提供计算机资源给控制节点，控制节点中存储有调度线程、负载监控线程、数据清洗线程和数据挖掘线程，其中控制节点负责分布式系统中的任务调度、各个计算节点的负载监控以及对外提供服务，所述服务包括数据挖掘服务；

(2)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；

(3)当控制节点接收到数据挖掘服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据清洗节点，控制节点将其存储的数据清洗线程和所监测的上述数据清洗节点的当前负载运行状态传送给上述数据清洗节点；

(4)所述数据清洗节点接收上述数据清洗线程和当前负载运行状态，保存在本地，其中数据清洗线程由抽象组件来实现，包括输入构件、清洗服务组件、输出组件、连接组件和数据容器组件，输入组件用于清洗过程中从数据源提取数据，输出组件用于将清理的数据存入数据容器，所述连接组件用于粘合一个组件的输出端口和另一个组件的输入端口，数据容器组件用于存储清洗数据，清洗服务组件用于实现多个数据清洗功能；其中清洗服务组件包括数据标准化模块、错误数据查找模块、重复数据删除模块、数据关联、数据合并、数据分析、数据增强模块，其中数据标准化模块、错误数据查找模块和重复数据删除模块为基本清洗模块集，数据关联、数据合并为提高清洗模块集，数据分析、数据增强为附加清洗模块集；

(5)所述数据清洗节点将存储的当前负载运行状态与第一预设负载阈值进行比较，如果当前负载运行状态不低于第一预设负载阈值，则数据清洗节点选择基本清洗模块集、输入组件、连接组件、数据容器组件和输出组件构成新数据清洗线程并运行，实现基本数据清洗任务；如果当前负载运行状态低于第一预设负载阈值，则将当前负载运行状态与第二预设负载阈值进行比较；如果当前负载运行状态不低于第二预设负载阈值，则数据清洗节点选择基本清洗模块集和提高清洗模块集以及输入组件、连接组件、数据容器组件、输出组件构成新数据清洗线程并运行，实现提高数据清洗任务，如果当前负载运行状态低于第二预设负载阈值，则数据清洗节点选择基本清洗模块集、提高清洗模块集和附加清洗模块集以及输入组件、连接组件、数据容器组件、输出组件构成新数据清洗线程并运行，实现附加数据清洗任务。

2.根据权利要求1所述的分布式系统挖掘数据的清洗方法，其特征在于，所述数据标准化模块用于解决多来源数据标准不统一的问题，按照预先制定的数据仓库规范统一描述方式，实现全仓储数据格式标准化；所述错误数据查找模块用于查找和删除不合理数据、不合逻辑数据和矛盾数据；所述重复数据删除模块用于识别和删除相似重复数据。

3.根据权利要求1所述的分布式系统挖掘数据的清洗方法，其特征在于，数据分析模块用于根据用户定义的模式对原始数据进行相关分析，所述数据增强模块用于利用外部字典和规则，补充原始数据中不完整的数据、遗漏的字段或者以增加字段的方式添加额外的信息。

4.根据权利要求1所述的分布式系统挖掘数据的清洗方法，其特征在于，数据关联模块用于发现和识别相关数据并进行关联，数据合并模块用于发现和识别同类数据并进行合并。