[发明专利]数据导出方法、装置、计算机设备及调度服务系统

说明书

本申请涉及一种数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统，涉及大数据技术领域，可以应用于金融科技领域或其它领域。所述方法包括：向第一目标计算节点发送第一数据导出指令，指示第一目标计算节点从目标数据所属的数据库中获取目标数据并存储于共享存储空间；在监测到第一目标计算节点的设备状态为故障状态的情况下，确定第二目标计算节点，并向第二目标计算节点发送第二数据导出指令，以使第二目标计算节点在确定共享存储空间中包含目标数据的情况下，从共享存储空间中获取目标数据发送给目标服务器。采用本方法能够避免在数据导出过程中数据容易丢失的问题，提高数据导出的安全性和可靠性。

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统。

背景技术

随着数据量产生速度越来越快，出现了大数据平台技术。通过大数据平台统一管理、集中存储大数据资源，可以满足大数据对高性能计算能力和大容量存储能力的需求，并能提供数据采集、数据计算、数据存储、数据分析，数据可视化等大量开发能力。各应用可以在大数据平台上进行数据开发，具体的，各应用将数据导入到大数据平台的大数据集群进行集中存放，然后每个应用可以根据作业需要，在大数据平台批量加工数据，并将加工后的数据导出到应用服务器以便查询使用。

其中，为了各应用之间的解耦合，各应用之间不能相互访问对方的数据库，只能通过接口或者文件的方式来交互，因此，导出加工后的数据时，会先将数据导出在大数据平台调度服务器的数据导出节点，进而由该数据导出节点将数据发送给应用服务器。

相关技术中，数据导出节点包括任务执行(执行数据导出任务)和数据存储，即数据导出节点导出数据后先进行本地存储，然后将本地存储的数据发送给应用服务器。然而，若该数据导出节点出现故障，则存储在该数据导出节点的数据容易丢失，将造成较大损失。

发明内容

基于此，有必要针对上述技术问题，提供一种能够解决数据易丢失问题的数据导出方法、装置、计算机设备、存储介质、计算机程序产品和调度服务系统。

第一方面，本申请提供了一种数据导出方法，所述方法应用于调度服务系统中的控制节点，所述方法包括：

向所述调度服务系统中的第一目标计算节点发送针对目标数据的第一数据导出指令；所述第一数据导出指令用于指示所述第一目标计算节点从所述目标数据所属的数据库中获取所述目标数据，并将所述目标数据存储于共享存储空间；所述共享存储空间用于存储所述调度服务系统中各计算节点从数据库中导出的数据；

在监测到所述第一目标计算节点的设备状态为故障状态的情况下，在所述各计算节点中确定第二目标计算节点；

向所述第二目标计算节点发送针对所述目标数据的第二数据导出指令，以使所述第二目标计算节点在确定所述共享存储空间中包含所述目标数据的情况下，从所述共享存储空间中获取所述目标数据，将所述目标数据发送给所述第二数据导出指令包含的目标服务器地址对应的目标服务器。

在其中一个实施例中，所述在所述各计算节点中确定第二目标计算节点，包括：

接收每个所述计算节点按照预设周期发送的心跳信息、当前运行任务数和最大运行任务数；

根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息；

根据每个所述计算节点对应的运行状态信息，确定运行状态信息满足预设选取条件的第二目标计算节点。

在其中一个实施例中，所述运行状态信息包括设备状态和任务运行率；

所述根据每个所述计算节点对应的心跳信息、当前运行任务数和最大运行任务数，确定每个所述计算节点对应的运行状态信息，包括：