[发明专利]分布式数据加载调度方法与系统

摘要

本发明公开了一种分布式数据加载调度的方法及系统，其中，该方法包括控制节点实时收集源加载节点和目的加载节点的运行状态信息；控制节点根据运行状态信息，生成配置更新信息下发给源加载节点和目的加载节点；其中，控制节点位于分布式系统中。本发明的分布式数据加载调度方法和系统，采用动态拓扑生成和自动调度方法，由于采用灵活的配置更新策略，保证了系统的负载均衡和高可靠性，提高了系统吞吐率，提高了数据加载的效率。

主权项

一种分布式数据加载调度方法，其特征在于，其用于控制分布式数据加载系统，该系统包括多个源加载节点和多个目的加载节点；方法包括：根据控制节点提供的初始配置信息，多个源加载节点中的第一源加载节点将对应源数据节点的数据按数据量大小分成多份，并开始将该多份数据按份传输给对应的第一组多个目的加载节点，并由该第一组多个目的加载节点将已接收数据存储至分布式文件系统的存储节点；根据控制节点提供的初始配置信息，多个源加载节点中的第二源加载节点将对应源数据节点的数据按数据量大小分成多份，并开始将该多份数据按份传输给对应的第二组多个目的加载节点，并由该第二组多个目的加载节点将已接收数据存储至分布式文件系统的存储节点；第一组多个目的加载节点与第二组多个目的加载节点共享一个或多个目的加载节点；控制节点实时收集源加载节点和目的加载节点的运行状态信息；所述控制节点根据所述运行状态信息，动态的对每个源加载节点和目的加载节点之间的网络拓扑进行配置更新，生成配置更新信息，并将生成的配置更新信息下发给所述源加载节点和目的加载节点；其中，所述控制节点位于分布式系统中；根据控制节点下发的更新配置信息，所述第一源加载节点将多份数据中的未发送数据按份传输给对应的第三组多个目的加载节点，并由该第三组多个目的加载节点将已接收数据存储至分布式文件系统的存储节点；根据控制节点下发的更新配置信息，所述第二源加载节点将多份数据中的未发送数据按份传输给对应的第四组多个目的加载节点，并由该第四组多个目的加载节点将已接收数据存储至分布式文件系统的存储节点；第三组多个目的加载节点与第四组多个目的加载节点共享一个或多个目的加载节点；第一组多个目的加载节点与第三组多个目的加载节点不同；第二组多个目的加载节点与第四组多个目的加载节点不同。