[发明专利]数据删除方法及系统、介质及计算机系统

说明书

本公开提供了一种数据删除方法，包括：获取配置信息，其中，配置信息至少用于表征需要删除的数据；基于配置信息，生成至少一个删除任务；以及将至少一个删除任务分配给对应的客户端，其中，客户端能够执行删除任务，并删除配置信息所表征的需要删除的数据。本公开还提供了一种数据删除系统，一种计算机系统和一种计算机可读存储介质。

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种数据删除方法，一种数据删除系统，一种计算机系统和一种计算机可读存储介质。

背景技术

在大数据时代，数据存储相当重要。基于ElasticSearch(以下简称ES)的数据存储能够快速的响应查询，同时还支持高并发写入，但是，随着时间的推移，存储的数据越来越多，需要定期清理过期数据。ES 1.7版本支持TTL清理方式，但ES 2.0版本及以上版本不再支持这种清理方式，需要用户根据实际情况自己做处理。对此，目前大部分用户都是采取开发定时任务来定期删除过期数据。

在实现本公开构思的过程中，发明人发现相关技术中存在以下缺陷：开发定时任务，需要用户针对每个业务基于硬编码手动写入worker删除数据，不便于动态调整。

发明内容

有鉴于此，本公开提供了一种能够基于用户的配置信息自动生成数据删除任务的数据删除方法和系统。

本公开的一个方面提供了一种数据删除方法，包括：获取配置信息，其中，上述配置信息至少用于表征需要删除的数据；基于上述配置信息，生成至少一个删除任务；以及将上述至少一个删除任务分配给对应的终端设备，其中，上述终端设备能够执行上述删除任务，并删除上述配置信息所表征的需要删除的数据。

根据本公开的实施例，上述基于上述配置信息，生成至少一个删除任务，包括：解析上述配置信息，确定需要删除的数据的以下信息：ES集群的名称以及上述ES集群中用于存储该需要删除的数据的节点的IP地址；以及基于确定的信息，生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。

根据本公开的实施例，上述基于上述配置信息，生成至少一个删除任务，包括：解析上述配置信息，确定需要删除的数据的以下信息：ES集群的名称、上述ES集群中用于存储需要删除的数据的节点的IP地址、以及指定的时间参数；以及基于确定的信息，生成能够删除与该信息对应的且生存时间值小于上述指定的时间参数的数据的至少一个删除任务。

根据本公开的实施例，上述方法还包括：获取上述ES集群的状态信息；根据获取的状态信息，生成任务调整指令；以及通过上述任务调整指令，调整上述至少一个删除任务在上述对应的终端设备上的执行步调。

根据本公开的实施例，上述状态信息包括上述ES集群的以下信息中的一种或几种：负载状态、内存状态、CPU状态和磁盘状态。

根据本公开的实施例，上述将上述至少一个删除任务分配给对应的终端设备，包括：确定可用终端设备的数目和执行任务的速度，以及上述至少一个删除任务的数目；以及根据确定的数目和速度，将上述至少一个删除任务分配给上述可用终端设备。

本公开的另一个方面提供了一种数据删除系统，包括：第一获取模块，用于获取配置信息，其中，上述配置信息至少用于表征需要删除的数据；第一生成模块，用于基于上述配置信息，生成至少一个删除任务；以及分配模块，用于将上述至少一个删除任务分配给对应的终端设备，其中，上述终端设备能够执行上述删除任务，并删除上述配置信息所表征的需要删除的数据。

根据本公开的实施例，上述第一生成模块包括：第一解析单元，用于解析上述配置信息，确定需要删除的数据的以下信息：ES集群的名称以及上述ES集群中用于存储该需要删除的数据的节点的IP地址；以及第一生成单元，用于基于确定的信息，生成能够删除与该信息对应的且当前已过期的数据的至少一个删除任务。