[发明专利]数据缓存优化方法及装置、非易失性存储介质、电子设备

说明书

本申请公开了一种数据缓存优化方法及装置、非易失性存储介质、电子设备。其中，该方法包括：获取目标对象请求数据；将所述目标对象请求数据输入预先训练的神经网络模型中得到预测热点数据；根据所述预测热点数据和预先确定的热点数据特征确定目标热点数据；将所述目标热点数据进行预缓存，以对数据缓存进行优化。本申请解决了由于缓存命中率低造成的数据读取速度慢的技术问题。

技术领域

本申请涉及数据缓存领域，具体而言，涉及一种数据缓存优化方法及装置、非易失性存储介质、电子设备。

背景技术

随着互联应用、大数据的发展与普及，随着数据单位时间访问量呈级数增长，数据的读写将成为最大瓶颈，大量访问使数据库的负担加重、响应恶化，最后将导致网站显示的延迟，而为了解决这些问题，高性能分布式缓存服务得到了非常广泛的应用。

目前，基于内存的对象缓存系统在数据中心内部得到了较大规模的部署和应用。具体用到的内存缓存系统主要是开源的Memcached(分布式的高速缓存系统)和Redis(远程字典服务)两种。数据基于这两种缓存可以快速的返回，避免因数据库的频繁查询而增加响应时间，但基于传统的缓存数据加载模式存在如下问题：数据命中率不高。缓存通常是以Key-Value(分布式存储系统)键值对结构来存储数据，并对数据设定被动失效时间，当经数据失效时间到期后，数据便自动失效。但数据被动失效显然无法满足高频次同步、短生命周期的缓存需求，并且由于业务和请求数据的变化，很容易造成需求与内存的数据不同步，导致大量数据的读取依然由数据库中读取，使缓存无法发挥其真正的作用；频繁存取数据，导致服务器性能下降。在大数据高并发这样的系统中，无序的使用缓存服务将会出现缓存服务资源的快速消耗，大量低命中率数据在缓存中堆积积压，缓存服务器的资源消耗急剧增长，后端数据库的输入和输出过于频繁。同时，大量的网络输入和输出极有可能引发缓存无底洞的问题(当缓存系统性能不佳时，通过增加节点，但是依然没有好转的现象)，这会导致一次批量操作会涉及多次网络操作，也就意味着批量操作会随着实例的增多，耗时会不断增大。而且如果在某一时刻同时有大量的请求穿透了缓存，所有请求都去查数据库，在这一瞬间会导致数据库CPU和内存负载过高，甚至宕机(缓存雪崩现象)。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据缓存优化方法及装置、非易失性存储介质、电子设备，以至少解决由于缓存命中率低造成的数据读取速度慢的技术问题。

根据本申请实施例的一个方面，提供了一种数据缓存优化方法，包括：获取目标对象请求数据；将所述目标对象请求数据输入预先训练的神经网络模型中得到预测热点数据；根据所述预测热点数据和预先确定的热点数据特征确定目标热点数据；将所述目标热点数据进行预缓存，以对数据缓存进行优化。

可选地，所述预先确定的热点数据特征通过以下方式确定：确定热点数据集合和非热点数据集合的信息增益；在所述热点数据集合的信息增益等于设定第一信息增益阈值的情况下，所述集合中的数据对应的特征作为第一特征集合；在所述非热点数据集合的信息增益等于设定第二信息增益阈值的情况下，所述集合中的数据对应的特征作为第二特征集合；将所述第一特征集合中与所述第二特征集合中的特征一致的特征剔除后构成所述热点数据特征。

可选地，热点数据集合和非热点数据集合通过以下方式确定，包括：获取目标对象请求历史数据和历史访问数据；由所述请求历史数据中请求次数高于第一设定阈值的数据组成所述热点数据集合；由所述历史访问数据中访问次数低于第二设定阈值且缓存命中率低于第三设定阈值的数据确定为非热点数据集合。

可选地，所述确定热点数据集合的信息增益，包括：确定所述热点数据集合的信息熵；确定所述热点数据集合的样本熵；将所述热点数据集合的信息熵与所述热点数据集合的样本熵的差作为所述热点数据集合的信息增益。

可选地，所述预先训练的神经网络模型的训练通过以下方式训练得到：以所述请求历史数据为样本数据，所述热点数据为所述样本数据的样本标签训练得到所述预先训练的神经网络模型。