[发明专利]并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法

说明书

技术领域

本发明涉及一种文件系统中多负载环境下负载服务质量的描述和转换，具体涉及一种应用于并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法；属于计算机技术领域。

背景技术

随着服务器、互连网络和存储设备等硬件技术的发展，目前大型信息基础设施中的大规模文件系统逐渐向互联网应用、数据挖掘、科研协作、科学计算等不同类型的应用提供共享存储资源访问的服务，以充分利用其大规模的计算和存储能力。不同类型应用的负载具有多样性的I/O访问模式和存储访问需求，同时不同应用程序通常具有不同的优先级，研究表明不同应用对于I/O性能的需求可能会差7个数量级。由于数据访问依赖于元数据，在元数据访问性能日益成为瓶颈问题的前提下，只有满足了应用的元数据访问性能需求才能进一步保障应用的性能需求。

现有研究一般采用I/O服务质量来描述并满足应用负载的性能需求，并采用不同的调度算法来为不同负载分配计算、存储等资源，来保障应用负载的I/O性能，即首先描述负载所需要的性能需求，而后将这些性能需求转换成对于资源的需求，最后再采用不同的方法来保障负载的性能。现有的研究主要侧重于保障数据访问性能，往往直接采用以带宽(单位时间访问的数据量大小，比如MB/s)和/或时延(单个I/O请求的响应时延)等为衡量指标来描述负载的数据访问的性能需求。但是衡量负载元数据的性能往往以吞吐量(单位时间完成的操作个数，比如IOPS)和/或时延(单个操作的时延，比如创建操作的时延)为指标，并且元数据访问在操作类型、访问数据量、交互协议等方面均与数据访问具有较大差异，因此需要一种对于元数据I/O服务质量性能需求的描述和转换方法。

具体来说，元数据操作类型包括文件创建/删除操作、目录创建/删除操作、查找操作、文件/目录元数据文件读写操作、列取目录操作等，不同的操作由于在执行过程涉及到客户端与服务器端不同的交互协议，因此包括不同的子操作，并且每个子操作所涉及的数据量也不相同。比如：创建文件操作在元数据服务器上包括两个子操作：创建元数据文件、在父目录中增加目录项，创建元数据文件要记录文件的各种属性信息，而目录项只是一条文件名到元数据文件的映射，因此第一个子操作要比第二个子操作访问的数据量要多；而列取目录操作包括两个子操作：读目录操作、读目录项的元数据文件操作，这两个子操作的数据量都与目录中含有的目录项的个数有关。

综上所述，现有的关于数据I/O性能需求描述和转换方法不能很好的刻画元数据I/O的性能需求，难以满足大规模文件系统中并发多类型负载对元数据性能保障的需求。而缺少合适的元数据I/O性能需求描述和转换方法就无法进一步采取相应的措施分配资源来保障负载的元数据I/O的性能需求。

发明内容

1、目的

本发明的目的是提出一种并行文件系统中支持元数据I/O服务质量的性能需求描述和转换方法，达到在多负载的环境中，方便为不同的负载指定负载级的性能需求，同时能够将负载级的性能需求转换为文件系统可理解的细粒度的性能目标，从而方便进一步采取相应的措施来分配资源保障负载的元数据I/O的性能需求。

2、技术方案

根据对于元数据I/O性能需求以及元数据操作多样性和分阶段特点的分析，在本方案中采取两层的性能需求描述和转换方案，如图1所示。具体来说就是上层采用用户指定的负载性能需求描述，然后通过一系列的转换方式，将负载级的服务质量性能需求转换成下层的元数据子操作级别的服务质量性能需求指标。

根据对于元数据I/O负载性能需求的分析，在本设计方案中，上层对于负载的性能需求描述采用平均吞吐量R(负载执行过程中单位时间内平均完成操作的个数)和平均时延D(负载执行过程中所有操作的平均时延)作为负载的性能指标，同时使用负载标示符W区分不同的负载，使用优先级P表明不同负载的优先级。因此一个负载的元数据I/O性能需求描述可以通过一个四元组<W，R，D，P>来唯一标示出来，其中W，R，D，P的含义如上。