[发明专利]一种针对异构环境的基于Spark的自适应任务调度方法

摘要

本发明提出一种针对异构环境的基于Spark的自适应任务调度方法，该方法包括：步骤1：数据采集；步骤2：构建任务执行时间预测模型；步骤3：任务调度，其中，任务调度主要通过采样执行、生成执行时间矩阵、基于PSO算法搜索调度方案以及任务迁移加速实现。通过任务执行时间预测模型开发出一种Spark平台的任务调度算法，该调度算法基于PSO算法搜索出一种最优的调度方案，并在运行过程中动态调整以推进执行进度，由于综合考虑了任务数据量和资源性能，并采用静态任务分配和动态调整相结合的方法，达到自适应调整调度方法的效果。

主权项

1.一种用于异构环境的基于Spark平台的自适应任务调度方法，其特征在于，包括以下步骤：S1)数据采集：采集Spark集群任务执行日志，所述任务执行日志由多条任务记录组成，每一条任务记录包含影响任务执行时间的变量值和实际执行时间；S2)构建任务执行时间预测模型：根据所述任务执行日志，生成训练数据集；设置用于回归预测任务执行时间的径向基函数RBF神经网络的网络结构；采用所述训练数据集对所设置的RBF神经网络进行深度学习训练，得到任务执行时间预测模型；S3)任务调度处理：S301：基于能调度的资源集和待调度任务集，根据所述任务执行时间预测模型生成任务‑资源执行时间矩阵，所述任务‑资源执行时间矩阵用于表征每个待调度任务在每个能调度的资源上的预测执行时间；S302：采用基于粒子群优化PSO算法迭代搜索最优任务调度方案：S302‑1：将任务调度方案编码为粒子的位置信息，初始化粒子群；S302‑2：基于所述任务‑资源执行时间矩阵计算每一个粒子对应的调度方案的的最后一个完成任务的资源的总执行时间，并将所述总执行时间的倒数作为每个粒子的适应度；所述总执行时间等于分配给所述最后一个完成任务的资源的所有任务的预测执行时间之和；S302‑3：基于当前每个粒子的适应度计算个体最优位置和粒子群的全局最优位置；S302‑4：判断是否满足预设的迭代搜索条件，若是，则将当前的全局最优位置作为PSO算法的迭代搜索结果；否则对每个粒子的速度和位置进行更新后，继续执行步骤S302‑2。