[发明专利]一种非分层缓存的复杂缓存结构优化方法

说明书

本发明公开了一种非分层缓存的复杂缓存结构优化方法，该方法包括以下步骤：S1、构建缓存性能评估模型，并根据快速设备与慢速设备求取工作负载完成的时间；S2、构建非分层缓存架构，将多余的工作负载卸载到容量设备，并将利用经典缓冲的分配策略升级到非分层缓存；S3、利用非分层缓存调度器提高非分层缓存的命中率，并调整快速设备与慢速设备的负载。本发明的经典缓存通过优化高级设备的性能来优化存储层次结构的性能；这种性能通过找到能够最大化命中率的工作集来优化，非分层缓存在最坏的情况下退化为经典的缓存，并且能够利用任何经典的缓存策略。

技术领域

本发明涉及，尤其涉及一种非分层缓存的复杂缓存结构优化方法。

背景技术

内存作为硬盘和CPU之间的缓存，在大数据处理中人工智能中间数据存储的计算中起了重要的作用，并决定了整个计算过程的运行快慢，在如今的大数据系统存储和深度学习系统训练的过程中有举足轻重的影响。

层次结构(即内存层次结构或存储层次结构)的概念长期以来一直是计算机系统设计的核心。为了处理层次结构的性质，系统通常采用两种策略：缓存和分层。对于一个具有两个存储层的系统：它具有(快速、昂贵、小)性能层和(缓慢、廉价、大)容量层。使用缓存时，所有数据都驻留在容量层中，并通过缓存替换算法将热数据项的副本放置在性能层中。分层将热数据放于性能层；但是与缓存不同，它在更长的时间尺度上迁移数据(而不是复制)。由于有足够多的请求转移到快速层，总体性能接近快速层的峰值性能。因此，经典的缓存和分层会努力确保大多数访问都达到性能层。

但是随着多种存储设备的快速变化，现代存储层次结构中的内存也变得复杂，许多新的非易失性存储器和低延迟SSD的出现，引入了具有重叠性能特征的设备，给分层策略带来了更多样的选择，因此需要根据实际的使用环境重新考虑如何在存储层次结构中更合理的管理这些设备。

例如将传统的基于flash的SSD作为容量层，以更新的、似乎更快的OptaneSSD作为性能层的情况。在某些情况下，OptaneSSD的性能优于Flash，因此传统的缓存/分层安排工作得很好。然而，在其他情况下(当工作负载具有高并发性时)，设备的性能是相似的(即，存储层次结构实际上失去了性能差距，层次结构不再存在)，因此经典的缓存和分层没有利用容量层可用的全部带宽。

因此，不同于传统的层次结构(例如DRAM和HDD)，新的存储层次结构可能不是一个层次结构；两个相邻层次结构的性能(例如，NVM和OptaneSSD)也可以是类似的。其次，新设备的性能的不同取决于许多因素，包括不同的工作负载(读取与写取)和并发性级别，使用传统的缓存和分层来管理这些设备已不再有效。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种非分层缓存的复杂缓存结构优化方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

根据本发明的一个方面，提供了一种非分层缓存的复杂缓存结构优化方法，方法包括以下步骤：

S1、构建缓存性能评估模型，并根据快速设备与慢速设备求取工作负载完成的时间；

S2、构建非分层缓存架构，将多余的工作负载卸载到容量设备，并将利用经典缓冲的分配策略升级到非分层缓存；

S3、利用非分层缓存调度器提高非分层缓存的命中率，并调整快速设备与慢速设备的负载。

进一步的，所述构建缓存性能评估模型，并根据快速设备与慢速设备求取负载完成的时间包括以下步骤：

S11、设置快速设备和慢速设备；

S12、基于命中率模型，模拟工作负载的两个极端，对于一次的一个请求，求取每个请求的平均时间；