[发明专利]一种实现缓存数据调度的方法和装置

说明书

本发明公开了一种实现缓存数据调度的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待预测数据的数据标识和待预测时间；根据训练的决策模型，判断在所述预测时间是否对所述待预测数据进行缓存；其中，所述决策模型根据历史数据的访问操作日志训练得到，所述访问操作日志中至少包括所述历史数据的数据标识和访问操作时间；根据所述判断的结果以及所述待预测数据的存储状态，生成调度指令。该方法通过机器学习预测数据的访问，并且基于训练的决策模型确定数据是否在某个时间被访问。提高了缓存的命中率，节约了缓存资源。并且，降低了数据延迟，提升了存储性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种实现缓存数据调度的方法和装置。

背景技术

在高并发大流量情况下，硬件是有性能瓶颈的，此时通过缓存增速以提高用户的性能体验是非常有必要的，尤其是对于存储海量数据的分布式系统。其中，数据的缓存是指用高速访问的存储器(一般指内存)，预先承载一部分硬盘中的数据，来达到高速访问的目的。分布式存储中，利用内存存储热点数据(访问操作频繁的数据)，达到降低数据请求的延迟，提高存储性能的目的。如图1所示，如果访问数据的请求直接命中预先在内存中缓存的热点数据，则可直接在内存中快速获取数据。如果访问数据的请求为缓存未命中，说明该访问的数据存储在硬盘中(也可能是在内存中淘汰至硬盘中)，则需要在硬盘中获取数据。

目前，分布式存储中主流的缓存淘汰算法为LFU(Least Frequently Used最不经常使用淘汰算法)和LRU(Least Recently Used最近最少使用淘汰算法)。LFU是用计数的方式统计经常被访问的数据，最少被访问的数据，优先淘汰出缓存。LRU是使用队列，把被访问的数据插入队列的头部，一段时间内不被使用的数据会逐渐移动到队列的尾部，超过队列的长度，队列尾部的数据淘汰出缓存。

上述缓存淘汰算法，都是通过数据的使用频率来判断是否进行缓存。访问频率高的数据，则预留在缓存内，访问频率低的数据被刷到硬盘。但是用户当前访问频率高的数据，并不能说明下一次还会访问，之后的访问频率也会高。但上述缓存淘汰算法却认为，当前访问频率高的数据，之后访问频率还是高。所以，对于数据访问随机性比较大的用户，会有大量的请求需要到硬盘上去访问，造成非常低的缓存命中率。进而，通过现有技术对数据进行缓存，会存在数据延迟较高、存储性能低的问题。

发明内容

有鉴于此，本发明实施例提供一种实现缓存数据调度的方法和装置，能够通过机器学习预测数据的访问，并且基于训练的决策模型确定数据是否在某个时间被访问。提高了缓存的命中率，节约了缓存资源。并且，降低了数据延迟，提升了存储性能。

为实现上述目的，根据本发明实施例的一个方面，提供了一种实现缓存数据调度的方法。

本发明实施例的实现缓存数据调度的方法包括：获取待预测数据的数据标识和待预测时间；根据训练的决策模型，判断在所述预测时间是否对所述待预测数据进行缓存；其中，所述决策模型根据历史数据的访问操作日志训练得到，所述访问操作日志中至少包括所述历史数据的数据标识和访问操作时间；根据所述判断的结果以及所述待预测数据的存储状态，生成调度指令。

可选地，在根据训练的决策模型，判断在所述预测时间是否对所述待预测数据进行缓存之前，还包括：获取历史数据的访问操作日志，所述访问操作日志中还包括访问用户信息、所属业务信息或者所在硬盘的标识信息；对获取的访问操作日志进行样本处理，所述样本处理包括去噪处理、分类处理或者关键字标记处理；通过Tensorflow对所述样本处理后的访问操作日志进行机器学习，以得到训练的决策模型。