[发明专利]一种数据清理方法、装置、电子设备及存储介质

说明书

本申请实施例公开了一种数据清理方法、装置、电子设备及存储介质，属于数据库技术领域，能够解决现有技术中Elasticsearch中存储的数据量剧增，导致系统资源不断减少，进而使得查询效率变低的问题。该方法包括：获取清理参数，清理参数包括清理索引和清理规则；基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理；本方案通过对待清理数据进行清理处理，减少了Elasticsearch中存储的数据量，降低了Elasticsearch的存储压力，节省了系统资源，提升了Elasticsearch存储和查询的执行效率。

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据清理方法、装置、电子设备及存储介质。

背景技术

分布式实时搜索引擎(Elasticsearch)是一个基于全文搜索引擎(ApacheLucene)的开源搜索引擎，它不仅包括了全文搜索功能，还可以进行以下工作：分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索；实时分析的分布式搜索引擎；可以扩展到上百台服务器，处理结构化或非结构化数据。

但随着线上项目业务的持续运行，Elasticsearch中存储的数据越来越多，各类索引内存储的数据暴涨，导致系统资源不断减少，进而使得查询效率变低。

因此，亟需一种可以减轻Elasticsearch压力，提升查询效率的数据处理方法。

发明内容

本申请实施例提供了一种数据清理方法、装置、电子设备及存储介质，以解决现有技术中Elasticsearch中存储的数据量剧增，导致系统资源不断减少，进而使得查询效率变低的问题。

本申请实施例的第一方面，提供一种数据清理方法，该方法包括：获取清理参数，清理参数包括清理索引和清理规则；基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理。

可选地，清理规则包括：清理日期规则；基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理，包括：将Elasticsearch中与清理索引对应的数据中，上报时间满足清理日期规则的数据，确定为待清理数据；对待清理数据进行清理处理。

可选地，清理规则还包括：清理手段，清理手段包括删除处理或先转存再删除处理；对待清理数据进行清理处理，包括：在清理手段为删除处理的情况下，删除待清理数据；在清理手段为先转存再删除处理的情况下，将待清理数据转存至目标区域之后，删除待清理数据。

可选地，获取清理参数，包括：从清理规则表中获取清理参数，清理规则表中包括至少一条清理参数；获取清理参数之前，该方法还包括：显示清理规则表；接收对清理规则表的更改操作；响应于更改操作，更新清理规则表。

可选地，基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理之后，该方法还包括：显示待清理数据的清理状态；其中，清理状态包括以下任一项：清理中，清理成功，清理失败。

可选地，基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理之后，该方法还包括：保存待清理数据的清理结果；其中，清理结果包括以下任一项：清理成功，清理失败。

本申请实施例的第二方面，提供一种数据清理装置，该装置包括：获取模块和清理模块；该获取模块，用于获取清理参数，清理参数包括清理索引和清理规则；该清理模块，用于基于清理规则，将Elasticsearch中与清理索引对应的数据中的待清理数据进行清理处理。

可选地，清理规则包括：清理日期规则；该清理模块，具体用于将Elasticsearch中与清理索引对应的数据中，上报时间满足清理日期规则的数据，确定为待清理数据；对待清理数据进行清理处理。