[发明专利]面向混合异构内存的标签化数据与作业调度方法及系统

权利要求书

1.一种面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述方法包括：

S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；

S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；

S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；

S4、根据调度的作业从混合异构内存中读取添加标签化后的数据；

所述步骤S2中的热度标签包括热度值，热度值表示一段时间内以此数据对象作为输入数据的任务数量，即读取数据的频率，热度值为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数；

或，热度值为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量，U(Di)为其元素以Di作为输入数据的子集，J_k表示作业k，I(J_k)表示作业k是否为交互式作业，1表示是，0表示不是；

所述步骤S2中的热度标签为热度值与热度趋势之和，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。

2.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述混合异构内存包括磁盘存储单元、DRAM存储单元及NVM存储单元，其中，高读取性能的存储单元为NVM存储单元。

3.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S2中的类标签包括：

类0，正在运行的任务需要读取的数据；

类1，对于队列中交互式作业需要的数据；

类2，当前选中接下来要执行的队列中批处理作业需要的数据；

类3，之前交互式作业用过的数据；

类4，当前未选中接下来要执行的队列中批处理作业需要的数据；

类5，其他数据。

4.根据权利要求3所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S3后还包括：

根据作业过程实时更新数据的类标签，并在存储单元之间进行数据迁移。

5.根据权利要求4所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，更新数据的类标签具体包括：

类1→类0，当标签为类1的数据由等待进入执行队列时，更新标签为类0；

类2→类0，当标签为类2的数据由等待进入执行队列时，更新标签为类0；

类0→类5，当标签为类0的数据读取完成后，更新标签为类5；

类5→类4，当标签为类5的数据需要作为输入数据时，更新标签为类4；

类4→类2，当标签为类4的数据被选中后，更新标签为类2；

类3→类1，当标签为类3的数据需要作为新的交互式作业的输入数据时，更新标签为类1；

类0→类3，当标签为类0的数据完成交互式作业后，更新标签为类3；

类5→类1，当标签为类5的数据需要作为交互式作业的输入数据时，更新标签为类1。

6.根据权利要求1所述的面向混合异构内存的标签化数据与作业调度方法，其特征在于，所述步骤S3具体为：

根据数据的热度标签和类标签评价数据的综合优先级，并将热度标签大于或等于预设热度阈值和/或类标签为预设类别的数据存储于高读取性能的存储单元中。

7.一种面向混合异构内存的标签化数据与作业调度系统，其特征在于，所述系统包括：

本地调度器，与外部云端调度器相连，用于获取作业任务并进行调度；

混合异构内存，包括磁盘存储单元、DRAM存储单元及NVM存储单元，所述磁盘存储单元与NVM存储单元相连；

CPU，与DRAM存储单元及NVM存储单元相连，用于进行根据DRAM存储单元和/或NVM存储单元中存储的数据进行作业任务；

数据处理单元，与磁盘存储单元和NVM存储单元相连，用于按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；并根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中，供本地调度器调度；

所述热度标签包括热度值，热度值表示一段时间内以此数据对象作为输入数据的任务数量，即读取数据的频率，热度值为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数；

或，热度值为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量，U(Di)为其元素以Di作为输入数据的子集，J_k表示作业k，I(J_k)表示作业k是否为交互式作业，1表示是，0表示不是；

热度标签为热度值与热度趋势之和，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。