[发明专利]一种基于大数据处理框架的批作业执行时间预测方法

权利要求书

1.一种基于大数据处理框架的批作业执行时间预测方法，其特征在于：该方法包括以下步骤：

一、为复杂作业创建作业模型：在作业模型中指明被派生的作业类型及执行阶段以及每个作业执行阶段的任务数量、输入数据信息；

二、分析历史数据，获取各类作业在多种准确度下各种类任务的执行时间：利用概率统计分析各类作业中每种任务在不同类型节点上的执行时间，获取每种任务在不同概率下的统计执行时间；

三、预测时间片的可用时间：如果时间片处于空闲状态，按1)预测可用时间；如果时间片处于忙状态，按照2)和3)预测可用时间；

1)S_n,i表示节点n上的第i个时间片；表示S_n,i的可用时间，即从时刻起，时间片可用；值为-1表示S_n,i当前处于空闲状态；

2)从上述步骤二的结果中查找与S_n,i正在执行的任务匹配的数据，计算S_n,i的可用时间其中表示S_n,i开始执行当前任务的时间，即当前时间片由空闲状态转变成忙状态的时间；T_<x,y,ntype>和I_<x,y>是步骤二的结果中与S_n,i正在执行的任务匹配的数据，T_<x,y,ntype>表示x类型的作业中y类型的任务在ntype类型节点上的执行时间，I_<x,y>表示与T_<x,y,ntype>对应的输入数据规模；I表示正占用S_n,i执行的任务的输入数据规模；

3)如果没有匹配的历史数据，则根据任务的执行进度预测任务的完成时间，即其中T_<x,y,r>表示任务在时刻开始后已执行的时间；P_<x,y,r>表示在T_<x,y,r>时间内任务的执行进度；

四、将每个时间片按照可用时间由小到大组织成队列：对于特定种类的任务只能在特定种类的时间片上执行的情况，需要首先对时间片分类，然后对每种类型的时间片分别建队列，每个队列中时间片按可用时间由小到大的顺序组织；

五、将批作业开始执行时间和结束执行时间分别记为T_start，T_end；T_start，T_end分别取最大长整型数和最小长整型数；

六、从等待队列中取出下一个待调度的作业,记为j，若判定该作业是简单作业，执行步骤七；若判定是复杂作业，执行步骤八；

七、预测简单作业的执行时间：

1)根据作业信息划分执行阶段，根据执行先后次序，由小到大对每个阶段进行编号；

2)结合历史信息和作业信息，计算在每个阶段派生的任务数量及任务的输入数据规模；

3)将j开始执行时间和结束执行时间分别记为T_j,start,T_j,end；T_j,start,T_j,end分别取最大长整型数和最小长整型数；

4)按照阶段编号由低到高的顺序，选择下一个阶段；

5)从选定阶段中选择一个任务，对于选中任务，执行下列预测操作：

a)从选中任务对应的时间片队列中摘取队首时间片，记为S_n,i，即该时间片是第n个节点上的第i个；

b)如果的值为-1，则将系统的当前时间赋值给

c)如果时间片满足则

d)从历史信息中找到与该任务匹配的执行时间T_<x,y,ntype>，即x类型作业中y类型的任务在ntype类型节点上的执行时间；

e)重新计算时间片的可用时间，即此处I为当前任务的输入数据规模；

f)如果S_n,i满足则

g)按照可用时间由小到大的顺序将该时间片重新插入对应的时间片队列；

6)重复执行步骤5)，直到预测完选定阶段中所有任务的执行时间；

7)重复执行步骤4)-5)，直到所有阶段中所有任务的执行时间都预测结束；

8)将T_j,start和T_j,end作为作业j的开始时间和结束时间返回；

八、预测复杂作业的执行时间：

1)将作业看作简单作业，根据步骤七预测作业的执行时间；

2)从作业模型中找到与该作业对应的模型，根据模型创建由该作业触发的所有作业并插入等待队列末尾；

九、如果T_start>T_j,start,则T_start＝T_j,start；如果T_j,end>T_end,则T_end＝T_j,end；

十、重复步骤六至步骤九，直到等待队列中最后一个作业的执行时间预测结束为止；记T_end-T_star为执行完等待队列中现有作业所需的时间。