[发明专利]报表数据的分存方法、装置、设备及存储介质

说明书

本发明涉及存储技术领域，公开了一种报表数据的分存方法、装置、设备及存储介质。该方法包括：获取待存储数据，并确定待存储数据对应的第一目标标识信息；基于第一目标标识信息从数据库集群中确定对应的第一目标数据库，并提取与第一目标数据库具有映射关系的入库规则；基于入库规则对待存储数据进行分存计算，得到存储数据集；将存储数据集依次写入第一目标数据库中对应的存储区域进行存储。本发明通过将数据分布存储在多个数据库中，降低磁盘占用空间，提升数据处理效率，提高系统安全性，保障系统稳定运行。

技术领域

本发明涉及存储技术领域，尤其涉及一种报表数据的分存方法、装置、设备及存储介质。

背景技术

快运报表平台目前分为操作质控报表系统、规划达成报表系统、网点报表系统和客服报表系统。现有的报表数据的存储和查询的方法不但存在效率低，易造成数据冗余的问题，而且所有的数据集中在同一数据库中，一旦数据库出现故障，将会导致所有人都无法使用数据报表。

发明内容

本发明的主要目的在于解决现有的报表数据的存储和查询的方法效率低且易出现数据库死锁的问题。

本发明第一方面提供了一种报表数据的分存方法，应用于报表平台，所述报表平台为由若干个不相同的报表系统的数据库组成的数据库集群，且每个数据库设有对应的标识，所述分存方法包括：获取待存储数据，并确定所述待存储数据对应的第一目标标识信息；基于所述第一目标标识信息从所述数据库集群中确定对应的第一目标数据库，并提取与所述第一目标数据库具有映射关系的入库规则；基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集；将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储。

可选的，在本发明第一方面的第一种实现方式中，所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息，包括：获取待存储数据，利用关键词提取模型从所述待存储数据提取对应的业务字段信息，基于所述业务字段信息确定标识信息；计算所述标识信息与所述数据库集群中各数据库的标识之间的相似度；基于所述相似度对所述标识信息进行调整，得到所述待存储数据匹配的第一目标标识信息。

可选的，在本发明第一方面的第二种实现方式中，在所述获取待存储数据，并确定所述待存储数据对应的第一目标标识信息之前，还包括：在每个所述数据库中构建至少一个数据分库；对每个所述数据库设置对应的标识；对每个所述数据分库设置对应的属性标识；将所述数据库形成一个所述数据集群；将所述数据库和所述标识之间的对应关系，所述数据库和所述至少一个数据分库之间的对应关系，所述至少一个数据分库和所述属性标识之间的对应关系，所述数据库和所述数据集群之间的对应关系进行保存。

可选的，在本发明第一方面的第三种实现方式中，所述基于所述入库规则对所述待存储数据进行分存计算，得到存储数据集，包括：解析所述待存储数据，确定所述待存储数据的不同属性特征，其中，所述属性特征包括所述待存储数据的内容，待存储数据的类型；基于所述待存储数据的不同属性特征，根据分库规则，运行预设的分库脚本，将所述待存储数据进行分库计算，得到存储数据集。

可选的，在本发明第一方面的第四种实现方式中，所述将所述存储数据集依次写入所述第一目标数据库中对应的存储区域进行存储，包括：将所述存储数据集的属性特征与数据分库的属性标识信息匹配，确定与所述存储数据集对应的目标数据分库；获取所述目标数据分库的当前的存储状态；基于所述存储状态按照所述入库规则中配置的存储顺序确定所述存储数据集的存储区域；将所述存储数据集按照所述存储顺序依次写入所述存储区域进行存储。

可选的，在本发明第一方面的第五种实现方式中，所述获取所述目标数据分库的当前存储状态，包括：获取所述目标数据分库预设的存储数据阈值和总数据量；确定所述存储数据集对应的数据量级，判断所述数据量级是否超过所述数据阈值和所述总数据量的差值；若未超过所述数据阈值和所述总数据量的差值，则所述目标数据分库的当前存储状态为可存储状态。