[发明专利]一种数据处理的方法及装置、计算机设备和存储介质

说明书

本申请公开了一种数据处理的方法及装置、计算机设备和存储介质，本申请可应用于云技术等场景，包括：获取第一数据；基于第一数据标识，将第一数据分配至第一缓存层中的第一缓存区间进行缓存；当第一缓存区间的内存占用率大于第一缓存区间对应的高负载预设阈值时，则缩减第一数据标识集合的范围，且增加第二数据标识集合的范围；将第一数据分配至第二缓存区间进行缓存。通过上述方法，通过将一个缓存层分割为不同的缓存区间，在管理某缓存区间的缓存节点的数据热度较高时将管理该缓存区间的缓存节点上的数据分配至其他缓存节点上，从而降低处于高负载状态的缓存节点的数据承载量，以达到负载均衡的效果，从而提升数据处理效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种数据处理的方法及装置、计算机设备和存储介质。

背景技术

随着互联网服务的发展，越来越多的应用程序需要通过互联网提供服务，随着服务的不断增长，服务类型和服务之间的依赖关系也随之变得复杂。因此，分布式缓存系统中每个缓存节点都可能失效，需要保证当系统的缓存节点数目发生变化时仍然能够对外提供良好的服务，所以良好的分布式缓存系统应该满足平衡性，使得所有的服务器都得到利用，防止出现个别服务器负载过大，具体可以采用集群方案，部署多个缓存节点，共同承载一个类型服务的请求量，大量请求涌进缓存节点时，能够将请求路由至不同的缓存节点，避免大量请求冲击同一个缓存节点，这样既能够保护机器不宕机，有能够提高服务响应速度。

目前，由于考虑到分散请求无法彻底解决大量的请求压力，因此能够在机器集群上加上一个缓存层，通过缓存层临时存储数据，避免请求直接穿透至后端的数据库，缓存节点也采用集群方案部署，根据数据标识不同，将数据分配至不同缓存节点上。然而，各个缓存节点负责存储不同数据，而不同数据有不同热度，可能某台缓存节点的数据热度极高，导致该缓存节点无法承载压力，从而降低数据处理的效率。因此，如何提升数据处理的效率成为亟需解决的问题。

发明内容

本申请实施例提供了一种数据处理的方法及装置、计算机设备和存储介质，通过将一个缓存层分割为不同的缓存区间，且不同的缓存区间被对应的缓存节点所管理，且缓存区间用于缓存不同数据标识所指示的数据，因此在同一缓存层中存在一个缓存区间出现高负载的情况，即管理该缓存区间的缓存节点的数据热度较高时，缩减该数据标识集合的范围并增加属于同一缓存层的其他缓存区间中数据标识集合的范围，从而将管理该缓存区间的缓存节点上的数据分配至其他缓存节点上，从而降低处于高负载状态的缓存节点的数据承载量，以达到负载均衡的效果，从而提升数据处理效率。

有鉴于此，本申请第一方面提供了一种数据处理的方法，包括：

获取第一数据，其中，第一数据携带第一数据标识，第一数据标识指示第一数据；

基于第一数据标识，将第一数据分配至第一缓存层中的第一缓存区间进行缓存，其中，第一缓存区间被第一缓存节点所管理，第一缓存区间用于缓存第一数据标识集合内数据标识所指示的数据，第一数据标识集合包括第一数据标识；

当第一缓存区间的内存占用率大于第一缓存区间对应的高负载预设阈值时，则缩减第一数据标识集合的范围，且增加第二数据标识集合的范围，其中，范围增加后的第二数据标识集合包括第一数据标识，第二数据标识集合内数据标识所指示的数据在第二缓存区间进行缓存，第二缓存区间被第二缓存节点所管理；

将第一数据分配至第二缓存区间进行缓存。

本申请第二方面提供了一种数据处理装置，包括：

获取模块，用于获取第一数据，其中，第一数据携带第一数据标识，第一数据标识指示第一数据；

分配模块，用于基于第一数据标识，将第一数据分配至第一缓存层中的第一缓存区间进行缓存，其中，第一缓存区间被第一缓存节点所管理，第一缓存区间用于缓存第一数据标识集合内数据标识所指示的数据，第一数据标识集合包括第一数据标识；