[发明专利]基于人工智能的数据归档方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术领域，揭露一种基于人工智能的数据归档方法，包括：初始化数据归档系统，并从预设配置源中加载归档信息至所述数据归档系统中；对所述归档信息进行预处理，以确定自动归档规则列表；基于所述数据归档系统的空闲状态信息接收对所述自动归档规则列表中的数据进行归档的归档请求；基于所述归档请求遍历所述自动归档规则列表，对所述自动归档规则列表中的数据进行归档处理。本发明可以提高基于人工智能的数据归档的效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的数据归档的方法、装置、电子设备及计算机可读存储介质。

背景技术

随着网络的快速发展，其后端数据库存储的数据和占据的磁盘空间也越来越大，为了保证线上业务的正常运行，需要及时地对历史数据进行清理，以释放数据库的存储空间。

目前，开源分布式时序数据库，因其高性能、过期数据自动清理、支持多种聚合函数等优点，越来越多地被应用至各大网络企业中，在海量数据更新的情况下，原始数据通常会被保存一个相对较短的时间，为降低数据库的存储压力，提高数据的查询速度等，通常需要对原始数据需要进行归档处理。

现有的数据归档方法主要存在以下缺点：无法对存量数据进行归档，且当出现不支持归档的表类型时，不能实现全库自动归档；此外，缺乏性能监控，不能实现自动的表增加或删除操作，影响数据库的灵活性、数据归档的效率以及用户体验。

发明内容

本发明提供一种基于人工智能的数据归档方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高基于人工智能的数据归档的效率及灵活性。

为实现上述目的，本发明提供的一种基于人工智能的数据归档方法，包括：初始化数据归档系统，并从预设配置源中加载归档信息至所述数据归档系统中；

对所述归档信息进行预处理，以确定所述归档信息的自动归档规则列表；

基于所述数据归档系统的空闲状态信息接收对所述自动归档规则列表中的数据进行归档的归档请求；其中，所述状态信息基于预设频率采集获取；

基于所述归档请求遍历所述自动归档规则列表，对所述自动归档规则列表中的数据进行归档处理。

此外，可选的技术方案是，所述归档信息包括并发数、原始库信息和归档策略列表；其中，所述归档策略列表中的归档策略包括：

源库，用于表示进行归档的数据来源；

目标库，用于表示归档后的数据存储的位置；

归档周期round，用于表示数据聚合的时间周期；

聚合函数列表，包括平均值、最大值、P95；

延迟时间delay，用于表示数据集合的延迟时间；

初始归档时间，以及失败重试次数。

此外，可选的技术方案是，所述在所述数据归档系统中对所述归档信息进行预处理，以确定所述归档信息的自动归档规则列表包括：

在所述数据归档系统中对所述归档信息中的归档策略进行汇总，形成初始列表；

按照预设规则对所述初始列表中的归档策略进行排序，以确定所述归档信息的自动归档规则列表；其中，

所述预设规则包括：将源库是原始库的归档策略排在前面，剩余的归档策略满足当前归档策略的前一个归档策略的目标库为所述当前归档策略的后一个归档策略的源库的准则。

此外，可选的技术方案是，在所述归档请求发送之后，且遍历所述自动归档规则列表之前，还包括对所述原始库中的数据表进行筛选的过程，所述筛选的过程包括：

获取当前时间T时，所述原始库中的所有数据表，并形成表集合MS；