[发明专利]基于深度学习算法的ETL调度方法及装置

权利要求书

1.一种基于深度学习算法的ETL调度方法，其特征在于，所述方法包括：

获取包括有多个待调度ETL任务的待调度任务组；

确定每一所述待调度ETL任务的任务执行参数；

将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数；所述调度预测模型根据包括有多个历史任务的任务执行参数和对应的任务调度参数的训练数据集训练得到；

根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。

2.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务执行参数包括任务类型、任务执行时的处理器占用率、任务执行时的储存器占用率、任务执行时的接口占用率和任务的预计运行时长中的至少一种。

3.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述任务调度参数包括调度任务类型和调度任务线程数量的至少一种。

4.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，在所述将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中，以预测得到所述待调度任务组的任务调度参数之前，所述方法还包括：

根据小波变换算法，对所述任务执行参数进行数据去噪处理；

和/或，

对所述任务执行参数进行归一化数据处理；

以及，所述历史任务的任务执行参数用于训练所述调度预测模型之前进行了所述数据去噪处理和/或所述归一化数据处理。

5.根据权利要求4所述的基于深度学习算法的ETL调度方法，其特征在于，所述调度预测模型为LTSM网络算法模型，以及所述调度预测模型根据以下步骤训练得到：

收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据集；

对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化数据处理；

构建一个包括256个神经元的LSTM网络算法模型，将优化函数设为Adam函数，梯度值设为1，初始学习率为0.005，并根据所述训练数据集进行100个轮的训练，之后再通过乘以因子0.2来降低学习率；

在训练中对所述LSTM网络算法模型的调节参数进行调节；所述调节参数包括批量大小、窗口大小、节点数量、学习率和训练步长中的至少一种；

根据均方根误差，在训练中对所述LSTM网络算法模型进行模型评估，直至评估结果显示所述LSTM网络算法模型达到收敛，得到训练好的所述调度预测模型。

6.根据权利要求1所述的基于深度学习算法的ETL调度方法，其特征在于，所述根据所述任务调度参数，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行，包括：

将所述任务调度参数输入至动态规划模型中，以测算得到所述待调度任务组对应的任务具体调度策略；所述任务具体调度策略用于指示符合所述任务调度参数的所述多个待调度ETL任务中的每一ETL任务的执行次序；

根据所述任务具体调度策略，对所述待调度任务组中的所述多个待调度ETL任务进行调度执行。