[发明专利]数据处理方法、节点和提取、转换和加载ETL系统

说明书

技术领域

本发明涉及信息技术，尤其涉及一种数据处理方法、节点和提取、转换和加载ETL系统。

背景技术

在信息和通信系统中，经常需要将数据倒到文件系统、文本传输协议（File Transfer Protocol，FTP）或者网络文件系统（Network File System，NFS）中，由网络中各节点进行数据提取、加载和转换（Extract Load Transform，ETL）处理。

现有技术中，采用前置节点将数据读取并转发到各处理节点上，再由各处理节点对前置节点读取的数据进行ETL处理，然而，采用这种方法，前置节点作为入口节点，存在I/O性能瓶颈，无法处理海量数据或处理海量数据存在难题。

发明内容

本发明实施例提供一种数据处理方法、节点和提取、转换和加载ETL系统，提高ETL系统的处理海量数据的能力。

一方面，本发明实施例提供一种数据处理方法，包括：

前置节点从源数据源中获取待处理数据对应的多个文件的文件名和存储路径；

所述前置节点将所述多个文件的文件名和存储路径均衡地分发给网络中的多个提取、转换和加载ETL处理节点中的各ETL处理节点，以使所述各ETL处理节点根据收到的所述存储路径从所述源数据源中获取与收到的所述文件名对应的文件中的待处理数据。

本发明实施例还提供一种数据处理方法，包括：

提取、转换和加载ETL处理节点接收前置节点发送的待处理数据对应的至少一个文件的文件名和存储路径；

所述ETL处理节点根据所述存储路径，从源数据源中获取与所述文件名对应的文件中的待处理数据；

所述ETL处理节点根据转发规则确定对所述待处理数据进行提取、转换和/或加载的目标处理节点，若所述目标处理节点为所述ETL处理节点本身，则所述ETL处理节点对所述待处理数据进行提取、转换和/或加载，若所述目标处理处理节点为网络中的其他ETL处理节点，则所述ETL处理节点将所述待处理数据发送至对应的目标处理节点进行提取、转换和/或加载。

另一方面，本发明实施例提供一种前置节点，包括：

获取模块，用于从源数据源中获取待处理数据对应的多个文件的文件名和存储路径；

文件名转发模块，用于将所述多个文件的文件名和存储路径均衡地分发给网络中的多个提取、转换和加载ETL处理节点中的各ETL处理节点，以使所述各ETL处理节点根据收到的所述存储路径从所述源数据源中获取与收到的所述文件名对应的文件中的待处理数据。

本发明实施例还提供一种提取、转换和加载ETL处理节点，包括：

接收模块，用于接收前置节点发送的待处理数据对应的至少一个文件的文件名和存储路径；

获取模块，用于根据所述存储路径，从源数据源中获取与所述文件名对应的文件中的待处理数据；

处理模块，用于根据转发规则确定对所述待处理数据进行提取、转换和/或加载的目标处理节点，若所述目标处理节点为所述ETL处理节点本身，则对所述待处理数据进行提取、转换和/或加载，若所述目标处理处理节点为网络中的其他ETL处理节点，则将所述待处理数据发送至对应的目标处理节点进行提取、转换和/或加载。

再一方面，本发明实施例还提供一种提取、转换和加载ETL系统，包括：前置节点和多个ETL处理节点；

所述前置节点，用于从源数据源中获取待处理数据对应的多个文件的文件名和存储路径；将所述多个文件的文件名和存储路径均衡地分发给网络中的多个提取、转换和加载ETL处理节点中的各ETL处理节点；

所述ETL处理节点用于：接收前置节点发送的待处理数据对应的至少一个文件的文件名和存储路径；根据所述存储路径，从源数据源中获取与所述文件名对应的文件中的待处理数据；根据转发规则确定对所述待处理数据进行提取、转换和/或加载的目标处理节点，若所述目标处理节点为所述ETL处理节点本身，则对所述待处理数据进行提取、转换和/或加载，若所述目标处理处理节点为网络中的其他ETL处理节点，则将所述待处理数据发送至对应的目标处理节点进行提取、转换和/或加载。