[发明专利]一种分布式系统挖掘数据的清洗方法

说明书

本发明涉及一种分布式系统挖掘数据的清洗方法，根据各个计算节点的运行负载选择其一充当数据清洗节点，将数据挖掘的前期数据清洗准备工作从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度，另外由于是根据数据清洗节点的运行负载来选择合适的数据清洗模式，保证数据清洗任务实现的同时不影响数据清洗节点本身其他任务的运行。

【技术领域】

本发明属于数据清洗领域，尤其涉及分布式系统环境下挖掘数据的清洗方法。

【背景技术】

近年来随着网络技术的发展，分布式技术得到了深入的研究和广泛的应用，分布式系统中的各个计算机都具有独立计算能力，具有多种运行模式，其中一个控制节点和多个计算节点是比较常见的运行模式，由控制节点实现任务的调度、分配和资源控制等，计算节点实现任务处理、数据计算等。

数据挖掘是计算系统通常可以提供的外部服务，现有技术中对于分布式系统而言，数据挖掘服务通常是由控制节点提供，由于数据挖掘服务前期的数据清洗要耗费比较多的时间，控制节点进行数据清洗工作必然会占用其相当的计算资源，由于分布式系统中的控制节点还要进行任务的调度、分配和资源控制等，因此加重了控制节点的处理负载，对控制节点的硬件配置要求很高，如果控制节点配置达不到运行负载要求，则容易导致控制节点死机、系统瘫痪。

基于上述问题，现在亟需一种新的分布式系统挖掘数据的清洗方法，减轻控制节点的运行负载，加快系统处理速度。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种分布式系统中挖掘数据的清洗方法。

本发明采用的技术方案如下：

一种分布式系统中挖掘数据的清洗方法，该方法包括如下步骤：

(1)将分布式系统中的节点按照性能划分为多个计算节点和一个控制节点，所述分布式系统中作为计算机资源的计算节点组成机群、提供计算机资源给控制节点，控制节点中存储有调度线程、负载监控线程、数据清洗线程和数据挖掘线程，其中控制节点负责分布式系统中的任务调度、各个计算节点的负载监控以及对外提供服务，所述服务包括数据挖掘服务；

(2)控制节点中的负载监控线程对各个计算节点的运行负载进行实时监控；

(3)当控制节点接收到数据挖掘服务请求时，上述负载监控线程对各个计算节点当前负载运行状态的实时监测数据进行分析和比较，选择其中最低运行负载的计算节点作为数据清洗节点，控制节点将其存储的数据清洗线程和所监测的上述数据清洗节点的当前负载运行状态传送给上述数据清洗节点；

(4)所述数据清洗节点接收上述数据清洗线程和当前负载运行状态，保存在本地，其中数据清洗线程由抽象组件来实现，包括输入构件、清洗服务组件、输出组件、连接组件和数据容器组件，所述输入组件用于清洗过程中从数据源提取数据，输出组件用于将清理的数据存入数据容器，所述连接组件用于粘合一个组件的输出端口和另一个组件的输入端口，数据容器组件用于存储清洗数据，清洗服务组件用于实现多个数据清洗功能；其中清洗服务组件包括数据标准化模块、错误数据查找模块、重复数据删除模块、数据关联、数据合并、数据分析、数据增强模块，其中数据标准化模块、错误数据查找模块和重复数据删除模块为基本清洗模块集，数据关联、数据合并为提高清洗模块集，数据分析、数据增强为附加清洗模块集；