[发明专利]一种缓存管理方法、系统、设备及介质

说明书

本发明提出了一种缓存管理方法，包括：统计每个核心对缓存的行为，并基于所述行为对缓存的影响为每个核心设定对应的状态；基于所述核心的状态按照预设管理策略判断状态异常的核心，并对所述状态异常的核心访问缓存的操作进行限制。本发明针对深度学习中多核并行计算对共享缓存的需求，在LRU替换策略的基础上，增加对单个核心访问频次和模式的自动识别，并以此作为依据对共享缓存针对不同核心发起的缓存替换进行分别限制，从而实现共享缓存的动态分配。

技术领域

本发明属于计算机领域，具体涉及一种缓存管理方法、系统、设备及介质。

背景技术

由于大数据产业的发展，数据量呈现爆炸性增长态势，而随着摩尔定律的失效，大规模应用、尤其是AI应用在芯片层面都采用了多核乃至众核的并行计算方案。芯片缓存，指的是在芯片上集成的如SRAM的存储器件，区别于芯片的片外存储器件。最为人所知的缓存概念就是CPU的缓存了，芯片上可用于放置缓存的空间和能支持的功耗都有限，因此，相比于外接的存储器件，芯片缓存容量都非常小，但是速度要快很多。现有体系结构下的CPU，以及其它计算核心控制器，都采用多级的存储架构。以CPU为例，缓存位于顶端，CPU通过缓存与片外存储器进行数据通信，即当CPU要读取一个数据时，首先从CPU缓存中查找，找到就立即读取并送给CPU处理；没有找到，就从速率相对较慢的内存中读取并送给CPU处理，同时把这个数据所在的数据块调入缓存中，可以使得以后对整块数据的读取都从缓存中进行，不必再调用内存。由于缓存的大小必然是远远小于片外存储的，片上核心访问到缓存中没有的数据时，必然需要从片外存储读取到缓存，如果此时缓存已经满了，就需要将缓存中的某些数据清除(数据无修改)或者写回给片外存储(数据被修改过)，而者就是缓存替换。因为片上缓存资源有限，片上多个核心的协同工作，往往会有两类缓存，一类是各个核心私有的，只能自己访问的缓存资源，通常比较小，另一类是全局共享或者部分核心之间共享的缓存。共享的方式一方面能提高缓存资源的利用效率，

另一方面，不同核心之间通过对共享缓存上的同一数据的操作，也能提高协同效率。由于现代计算的瓶颈往往是数据存取，采用适合的缓存大小和缓存替换策略也成为了提高系统性能的关键。区别于私有缓存的配置可以高度定制化，共享缓存，尤其是包含多种不同类型核心的众核共享缓存，通常只能采用最简单的LRU(Least Rescently Used，最近最少使用)替换策略，即当需要替换时，选取最久未被访问的数据替换。而这一简单实现在AI多个并行计算中却难以满足缓存的高效调度问题。

发明内容

为解决以上问题，本发明提出了一种缓存管理方法，包括：

统计每个核心对缓存的行为，并基于所述行为对缓存的影响为每个核心设定对应的状态；

基于所述核心的状态按照预设管理策略判断状态异常的核心，并对所述状态异常的核心访问缓存的操作进行限制。

在本发明的一些实施方式中，统计每个核心对缓存的行为，并基于所述行为对缓存的影响为每个核心设定对应的状态包括：

周期性统计每个核心对缓存的访问次数与发起缓存替换次数；

响应于所述访问次数达到第一预定次数，且所述发起缓存替换次数等于所述访问次数，将对应的核心的状态设定为异常。

在本发明的一些实施方式中，基于所述核心的状态按照预设管理策略判断状态异常的核心，并对所述状态异常的核心访问缓存的操作进行限制包括：

响应于对应的核心的状态为异常，限制所述核心对新的缓存发起的缓存替换。

在本发明的一些实施方式中，统计每个核心对缓存的行为，并基于所述行为对缓存的影响为每个核心设定对应的状态还包括：

统计每个核心发起缓存替换后未被释放的缓存，并根据访问次数计算未被释放的缓存和访问次数的访问次数占用比；