[发明专利]面向混合异构内存的标签化数据与作业调度方法及系统

说明书

本发明公开了一种面向混合异构内存的标签化数据与作业调度方法及系统，所述方法包括：S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。本发明针对任务的类型及执行时的特点对数据添加科学合理的热度标签及类标签，以确定数据的优先级；将标签化的数据按照综合优先级提前存储在NVM之中，从而大幅减少数据从磁盘传入到内存的时间，极大的提高作业执行的效率。

技术领域

本发明涉及数据处理及作业调度技术领域，特别是涉及一种面向混合异构内存的标签化数据与作业调度方法及系统。

背景技术

企业迫切需要运用大数据分析获取有价值信息，因此大数据分析的效率对于决策和交互服务至关重要，这使得作业调度成为云数据中心大数据分析的首要问题。

现有技术中数据分析过程将数据从磁盘读取到内存，这是非常耗时的。因为与内存相比，磁盘的读取性能相当差。此外，由于DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)的可扩展性限制，这使得很难扩展内存中的计算能力，NVM(Non VolatileMemory，非易失性存储器)的出现使得内存计算成为可能。然而，由于NVM的写性能和使用寿命有限，独立使用它仍然是不切实际的，则由NVM、DRAM和磁盘组成的混合存储系统是物理机器(PM)的实用体系结构。

由于NVM的缺点，它不适合作为一般的内存设备使用，但是，对于大数据分析工作来说，数据集上的操作大多是读取的，很少需要写东西，这非常适合使用NVM，这促使用户使用NVM内存来改进大数据分析。

因此，针对上述技术问题，有必要提供一种面向混合异构内存的标签化数据与作业调度方法及系统。

发明内容

有鉴于此，本发明的目的在于提供一种面向混合异构内存的标签化数据与作业调度方法及系统。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种面向混合异构内存的标签化数据与作业调度方法，所述方法包括：

S1、获取混合异构内存中的数据，所述混合异构内存包括若干存储单元；

S2、按照数据的受欢迎程度和当前作业状态添加数据的热度标签和类标签；

S3、根据数据的热度标签和类标签评价数据的综合优先级，并将综合优先级高的数据存储于高读取性能的存储单元中；

S4、根据调度的作业从混合异构内存中读取添加标签化后的数据。

作为本发明的进一步改进，所述混合异构内存包括磁盘存储单元、DRAM存储单元及NVM存储单元，其中，高读取性能的存储单元为NVM存储单元。

作为本发明的进一步改进，所述步骤S2中的热度标签包括热度值，热度值为：

hotness(Di)+＝H·K；

其中，H是常数，K是以Di作为输入的作业数。

作为本发明的进一步改进，所述步骤S2中的热度标签包括热度值，热度值为：

其中，H1为交互式作业和批处理作业的公共增量，H2为交互作业的额外增量，U(Di)为其元素以Di作为输入数据的子集。

作为本发明的进一步改进，所述步骤S2中的热度标签为热度值与热度趋势之和，热度趋势△H为周期T中热度的变化值，即△H＝HT-H0。

作为本发明的进一步改进，所述步骤S2中的类标签包括：