[发明专利]一种调度任务配置方法和装置

说明书

本发明公开了调度任务配置方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括根据spark调度任务的id从数据集市历史执行日志中采集任务的相关信息，输入至DDPG模型的Actor网络，得到动作空间值；将动作空间值和信息输入至DDPG模型中的Critic网络训练得到奖赏值，对网络损失函数计算得到最大奖赏值对应的DDPG模型作为配置模型；获取当前spark调度任务的目标信息，通过配置模型得到spark配置参数，执行当前spark调度任务。从而，解决现有由于设置Spark配置参数的精度低、效率差而影响调度任务处理性能的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种调度任务配置方法和装置。

背景技术

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce通用并行框架。由于Spark具有将中间结果存储在内存中的特点，Spark运行迭代和交互式程序比传统的磁盘计算框架Hadoop提高了10倍。Spark配置参数优化一直是大数据系统的研究热点之一，由于配置参数众多(多于100个)，性能受配置参数影响很大，应用程序具有不同特点。因此使用默认配置远未达到最佳性能。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有技术是进行手动配置参数和自动配置参数，其中手动配置参数方法弊端在于太耗时，而且要求用户对Spark的运行机制、参数的意义，作用和取值范围具有较深的了解。用户需要手动增大或减少Spark参数值，然后配置Spark，运行应用程序，找到使执行时间最短的参数值。由于不同集群环境、不同应用程序、和不同输入数据集的最优配置参数不同，手动配置参数方法是一个耗时、枯燥的工作。

发明内容

有鉴于此，本发明实施例提供一种调度任务配置方法和装置，能够解决现有由于设置Spark配置参数的精度低、效率差而影响调度任务处理性能的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种调度任务配置方法，包括根据spark调度任务的id，从数据集市历史执行日志中采集任务的相关信息；将所述信息输入至预设DDPG模型中的Actor网络，以得到所述信息对应的动作空间值；其中，所述DDPG模型中的Actor网络采用Encoder-Decoder模型；将所述动作空间值和所述信息输入至预设DDPG模型中的Critic网络进行训练，以得到对应的奖赏值；进而根据所述奖赏值对预设的网络损失函数进行计算，以得到最大奖赏值对应的DDPG模型作为配置模型；

得到最终获取当前spark调度任务的目标信息，通过所述的配置模型得到对应的spark配置参数，进而基于所述spark配置参数执行当前spark调度任务。

可选地，从数据集市历史执行日志中采集任务的相关信息，包括：

spark配置参数、spark调度任务执行完成后数据集市反馈的相关指标以及启动spark调度任务时生成的有向无环图中各个stage包括的算子以及任务信息。

可选地，将所述信息输入至预设DDPG模型中的Actor网络，以得到所述信息对应的动作空间值，包括：

利用Encoder-Decoder模型中的编码器，拼接所述各个stage包括的算子以及任务信息作为输入层进行嵌入，以得到每个stage对应的嵌入向量n*m维的矩阵；进而通过卷积神经网络对所述矩阵进行处理，以将处理后的矩阵输出。

可选地，通过卷积神经网络对所述矩阵进行处理之前，包括：

将所有stage对应的嵌入向量n*m维的矩阵分别通过预设的拼接模型生成一个二维矩阵。

可选地，将处理后的矩阵输出，包括：

将处理后的矩阵输入至预设的循环神经网络中，以将所述循环神经网络处理后的矩阵输出。