[发明专利]一种针对异构环境的基于Spark的自适应任务调度方法

权利要求书

1.一种用于异构环境的基于Spark平台的自适应任务调度方法，其特征在于，包括以下步骤：

S1)数据采集：

采集Spark集群任务执行日志，所述任务执行日志由多条任务记录组成，每一条任务记录包含影响任务执行时间的变量值和实际执行时间；

S2)构建任务执行时间预测模型：

根据所述任务执行日志，生成训练数据集；

设置用于回归预测任务执行时间的径向基函数RBF神经网络的网络结构；

采用所述训练数据集对所设置的RBF神经网络进行深度学习训练，得到任务执行时间预测模型；

S3)任务调度处理：

S301：基于能调度的资源集和待调度任务集，根据所述任务执行时间预测模型生成任务-资源执行时间矩阵，所述任务-资源执行时间矩阵用于表征每个待调度任务在每个能调度的资源上的预测执行时间；

S302：采用基于粒子群优化PSO算法迭代搜索最优任务调度方案：

S302-1：将任务调度方案编码为粒子的位置信息，初始化粒子群；

S302-2：基于所述任务-资源执行时间矩阵计算每一个粒子对应的调度方案的的最后一个完成任务的资源的总执行时间，并将所述总执行时间的倒数作为每个粒子的适应度；所述总执行时间等于分配给所述最后一个完成任务的资源的所有任务的预测执行时间之和；

S302-3：基于当前每个粒子的适应度计算个体最优位置和粒子群的全局最优位置；

S302-4：判断是否满足预设的迭代搜索条件，若是，则将当前的全局最优位置作为PSO算法的迭代搜索结果；否则对每个粒子的速度和位置进行更新后，继续执行步骤S302-2。

2.据权利要求1所述的任务调度方法，其特征在于，所述步骤S302中，

粒子编码方式为：将任务调度方案编码为粒子的位置信息X＝(x₁,x₂,...,x_n)，其中，所述粒子位置信息的维度等于待调度任务数n，维度d的值x_d表示将待调度任务d调度到资源x_d上执行，并且1≤x_d≤m，m为资源集合大小，其中d＝1,...,n；

粒子的位置更新公式为：x_ij(t+1)＝round(x_ij(t)+υ_ij(t+1))，其中t表示种群的第t代，i表示第i个粒子，j表示粒子的第j维，υ_ij表示粒子i的维度j的速度，粒子速度的初始值为预设值，x_ij是粒子i的维度j的位置，函数round()用于计算输入参数四舍五入整数值。

3.据权利要求1所述的任务调度方法，其特征在于，所述步骤S1)中，采集Spark集群任务执行日志的方式为：通过在Spark源码中插入监听代码实现。

4.权利要求1所述的任务调度方法，其特征在于，所述步骤S2)中，设置RBF神经网络的网络结构具体包括以下步骤：

将所述训练数据集中的任务执行时间的变量值构成执行时间预测模型的输入向量，实际执行时间作为执行时间预测模型的目标变量；

所述RBF神经网络的输入层的神经元的个数为任务执行时间的变量值的个数，输出层的神经元的个数为1；中间隐藏层的神经元采用的激活函数为高斯函数其中，x为任务执行时间的变量值组成的输入向量，K为隐藏层神经元的个数，ω_i为隐藏层第i个神经元输出的权重，c_i和σ_i分别为隐藏层第i个神经元激活函数的中心点和宽度，b是偏置项。

5.根据权利要求4所述的任务调度方法，其特征在于，对RBF神经网络的深度学习训练具体为：

采用K-Means++算法确定隐藏层第i个神经元激活函数的中心点c_i和宽度σ_i；

随机生成隐藏层第i个神经元输出的权重ω_i；

采用梯度下降方法对参数c_i、σ_i、ω_i和b进行迭代调整，达到设定的迭代次数后，模型训练结束，得到任务执行时间预测模型。