[发明专利]基于深度学习算法的ETL调度方法及装置

说明书

本发明公开了一种基于深度学习算法的ETL调度方法及装置，该方法包括：获取包括有多个待调度ETL任务的待调度任务组；确定每一所述待调度ETL任务的任务执行参数；将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。可见，本发明能够实现无需人工干涉的智能调度，可以确定出合理的调度参数，从而有效提高ETL任务调度的效率，降低调度成本。

技术领域

在本发明涉及计算机技术领域，尤其涉及一种基于深度学习算法的ETL调度方法及装置。

背景技术

ETL（Extract-Transform-Load，数据抽取加载和转换）作业通常由一个集中的调度平台控制他们的运行，决定执行顺序，进行错误捕捉和处理。较为原始的ETL系统在进行ETL任务调度时，就是做定时控制，定时调起相应的程序或者存储过程。但是这种方式过于原始，只能进行简单的调起动作，无法实现流程依赖行为，同时执行的流程控制能力也弱，错误处理能力几乎没有，只适合于极其简单的情况。对于较为完善的ETL系统，往往需要具有以下几个能力：

1、流程步骤控制能力：调度平台必须能够控制整个ETL流程，进行集中化管理，不能有流程或执行设备游离于系统外部。

2、系统的划分和前后流程的依赖：由于整个ETL系统里面可能跨越数十个业务系统，开发人员有数十拨人，必须支持按照业务系统对ETL流程进行划分管理的能力，同时必须具有根据流程依赖进行调度的能力，使得适当的流程能在适当的时间调起。

3、合理的调度算法：同一时间调起过多流程可能造成对源数据库和ETL服务器还有目标数据库形成较大负载压力，故必须有较为合理的调度算法。

在这几个需要的能力当中，最为复杂的则是：合理的调度算法。常用的基本调度算法有：顺序调度、定时调度、手动调度。但是这些常用的调度算法，在大规模的分布式集群ETL中，很难满足系统的需求，容易造成分布式系统资源的浪费，负载不均衡等情况，这严重制约了ETL的大规模应用。

发明内容

在本发明所要解决的技术问题在于，提供一种基于深度学习算法的ETL调度方法及装置，可以有效提高ETL任务调度的效率，降低调度成本。

为了解决上述技术问题，本发明第一方面公开了一种基于深度学习算法的ETL调度方法，所述方法包括：

获取包括有多个待调度ETL任务的待调度任务组；

确定每一所述待调度ETL任务的任务执行参数；

将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；

根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。

作为一个可选的实施方式，在本发明第一方面中，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。

作为一个可选的实施方式，在本发明第一方面中，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。

作为一个可选的实施方式，在本发明第一方面中，在所述将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，所述方法还包括：

根据小波变换算法，对所述任务执行参数进行数据去噪处理；

和/或，

对所述任务执行参数进行归一化数据处理；