[发明专利]一种基于机器学习的轻量级缓存划分方法及装置

说明书

本发明公开了一种基于机器学习的轻量级缓存划分方法及装置，首先使用支持向量机模型对程序进行分类，分别依据程序占用缓存时对其他程序的干扰程度以及程序本身对缓存划分大小的敏感程度，对程序进行分类；其次，应用贝叶斯优化算法在划分的程序类别之间进行LLC资源调度，搜索能够最大化系统吞吐量的LLC划分方案，最终根据能够产生最高性能的LLC划分方案进行缓存划分。本发明技术方案降低了调度开销，能够快速提供缓存划分方案，并提高系统整体的吞吐量。

技术领域

本申请属于服务器缓存划分技术领域，具体涉及一种基于机器学习的轻量级缓存划分方法及装置。

背景技术

当前主流的桌面级多核处理器的最后一级高速缓存(Last Level Cache，LLC)通常采用共享机制，即在不做限制的情况下，运行在处理器上的应用程序共享LLC。传统的缓存替换策略仅关注数据的被访问情况，并不考虑数据与具体应用程序的关系。这意味着已经存储在LLC上的程序数据会由于其他程序的数据访问被替换出LLC。当访问已被替换出的程序数据时，会出现缓存缺失，引发并发程序在LLC上的冲突。这种冲突必然导致程序的性能下降，影响系统的整体吞吐量。

现有技术试图在并发应用程序之间进行缓存资源划分以提升LLC的性能。这些工作的基本思想是隔离并发运行的应用程序所使用的LLC资源，从而缓减并发应用程序在缓存层次上的竞争和相互干扰。有两种实现LLC资源划分的方法，一种是需要复杂硬件支持的技术，另一种是纯软件技术。

硬件技术通常依赖于复杂的硬件设计，不具备通用性。软件技术使用的页面着色不需要硬件支持，但也有其自身的缺点。例如，页面着色技术与巨页机制不兼容。这是因为巨页需要虚拟内存和物理内存中大量连续的基页，导致所有可用的页面颜色都被占用。为此，Intel提出一种粗粒度的缓存划分技术(Cache Allocation Technology，CAT)。CAT的优点是能够在大多数Intel商用CPU中快速地动态划分LLC。然而，CAT的最小划分单元是路(way)，由于LLC路是粗粒度的划分单元。这可能导致程序分配的LLC资源过多或不足，造成程序工作集性能下降。

现有技术中有多种利用CAT技术进行LLC划分的方法。一些划分方法依赖于性能采集器收集到的详细性能数据进行LLC划分。例如，根据工作负载中每个应用程序的缓存未命中率,生成LLC划分方案。这些方法需要监控每个应用程序的缓存未命中率的变化，并实现细粒度的缓存分区。这种实时监控需要CPU来承担额外的高分析开销。一些研究者将启发式算法应用于LLC划分，获得了显著的划分性能。然而，启发式算法需借助持续的“试错”，即连续不断的LLC调度，以探索广泛的搜索空间，可能导致高调度开销。因此，需设计一种新的低开销、高性能的缓存划分方法。

发明内容

本申请的目的是提供一种基于机器学习的轻量级缓存划分方法及装置，以降低调度开销，快速提供缓存划分方案，并提高系统整体的吞吐量。

为了实现上述目的，本申请技术方案如下：

一种基于机器学习的轻量级缓存划分方法，包括：

构建并训练用于区分强干扰程序和非强干扰程序的第一支持向量机模型，以及构建并训练用于区分缓存敏感程序和缓存不敏感程序的第二支持向量机模型；

采用训练好的第一支持向量机模型和第二支持向量机模型对工作集中的程序进行分类；

以强干扰程序、缓存敏感程序和缓存不敏感程序三类程序各自占用的缓存路数为一个缓存划分方案，以工作集中所有应用程序的平均加权加速比作为缓存划分方案与系统吞吐量之间关系的黑盒函数，采用贝叶斯优化来预测最优的缓存划分方案。

进一步的，所述黑盒函数f(x)表示为：