[发明专利]一种基于计算平台缓存状态感知的随机I/O调度方法

说明书

本发明提供一种基于计算平台缓存状态感知的随机I/O调度方法，所述的方法包括步骤如下：S1：根据平台缓存的已用状态以及基于科学计算应用的概率模型得到的当前应用负载情况，计算得到缓存用完的概率；S2：根据最大化系统效率与最小化应用延迟设置启发式策略，得到应用请求的I/O队列；S3：将当前缓存状态下的缓存用完概率与应用请求的I/O队列相结合，从而得到基于概率的I/O请求队列；S4：根据基于概率的I/O请求队列访问存储系统。本发明综合考虑带有高速缓存的高性能计算平台新体系结构中缓存的状态与应用特征，缓解了系统读写拥塞，提高系统性能。

技术领域

本发明涉及高性能计算机技术领域，更具体地，涉及一种基于计算平台缓存状态感知的随机I/O调度方法。

背景技术

高性能计算平台具有超大规模计算能力与巨大的存储能力，但是随着大数据应用与科学应用的数据需求规模急剧增加以及计算能力与存储性能的鸿沟加大，I/O瓶颈问题越发严重。目前缓解这一问题的技术手段包括I/O调度与突发缓存技术。传统的I/O调度技术通过对请求的重新排序，可以从不同的目标优化I/O请求的性能，如图1所示，是现有的高性能计算平台科学应用的运行示例。如考虑数据在底层文件系统的物理存储、考虑计算节点的拓扑结构、考虑应用的优化目标等。突发缓存技术是通过在计算节点与存储节点之间加入一层高速缓存，用于缓冲突发的I/O请求，可以一定程度缓解I/O拥塞的情况。

对于I/O调度技术的研究，高性能计算领域研究人员主要通过在并行文件系统上添加一个中间层。对于单个大规模应用的情况，Thakur等提出的CollectiveI/O技术被广泛应用，将多个不连续的请求，合并成连续请求，从而减少了磁盘的跳转。Tessier等提出了TAPIOCA方法将平台中计算节点的拓扑结构考虑在内，通过拓扑感知的数据聚合方法减少了通信冲突。对于多个大规模应用的情况，来自不同应用的请求在请求队列中相互交织在一起，形成I/O干扰。跨应用的I/O调度技术可以有效缓解这个问题。Dorier等研究了两个应用间的协作方法。Aupy等研究了更通用的I/O调度情况，提出了多种在线调度的策略可以最大化在拥塞下的应用性能。Aupy等根据应用的周期性特征提出了一种离线的I/O调度策略。

对于突发缓存(burst-buffering)技术，主要存在两种体系结构：分布式与集中式。其中，集中式将高速缓存部署于在计算节点与PFS之间I/O节点上，DDNIME和CrayDatawarp就是采用这样的结构，也是高性能平台的常用结构。而分布式则将缓存部署在计算节点上，为了使用高速缓存设备，可以将突发缓存作为缓存或缓冲，在本节缓存是指作为中间媒介，所有请求都必须经过；缓冲只有在读写负载大于PFS带宽时，才进行访问。Aupy等研究了通过应用的周期性特征对缓存大小进行了估计。

目前这两类缓解I/O瓶颈问题的技术从本质上都是单独使用，都未能有效应对I/O拥塞的情形。在已知方法中没有将两者的优势进行结合的方法。

发明内容

本发明为克服上述现有技术中的不足和缺点，提供了一种基于计算平台缓存状态感知的随机I/O调度方法，其综合考虑高速缓存的容量状态与应用的特征信息，缓解I/O拥塞时的系统访问性能。

为解决上述技术问题，本发明的技术方案如下：一种基于计算平台缓存状态感知的随机I/O调度方法，所述的方法包括步骤如下：

S1：根据平台缓存的已用状态以及基于应用的概率模型得到的当前应用负载情况，计算得到缓存用完的概率；

S2：根据最大化系统效率与最小化应用延迟设置启发式策略，得到应用请求的I/O队列；

S3：将当前缓存状态下的缓存用完概率与应用请求的I/O队列相结合，从而得到基于概率的I/O请求队列；根据基于概率的I/O请求队列访问存储系统。

优选地，在步骤S1之前，先定义系统平台模型，具体在高性能计算平台的计算子系统与存储子系统之间加入一层高速缓存系统，从而构成新型的平台体系结构。