[发明专利]一种数据处理方法、设备和存储介质

说明书

本申请实施例公开了一种数据处理方法，方法包括：确定数据分析模式；基于所述数据分析模式，获取历史结构化查询语言SQL语句；按照预设时间粒度对所述历史SQL语句进行分组处理，得到m组分组SQL语句；其中，m为大于或等于1的正整数；确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体；基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体；其中，n为大于或等于1的正整数；确定推荐索引为n个所述目标数据立方体，并显示所述推荐索引。本申请实施例同时还公开了一种数据处理设备和存储介质。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、设备和存储介质。

背景技术

随着互联网技术的飞速发展，互联网应用得到了广泛的应用，随之而来产生了大量的互联网数据产品。在建立数据仓库智能索引之前，需要读入用户历史输入的结构化查询语言(Structured Query Language，SQL)，并对读入的历史输入SQL进行解析，实现索引的构建。

但是，若用户在历史时间内输入了大量的SQL，在索引构建过程中，若一次性将全部SQL读入进行解析分析，会导致分析过程所花费的时长较长，严重降低了分析效率。

发明内容

有鉴于此，本申请实施例期望提供一种数据处理方法、设备和存储介质，解决了目前对SQL语句进行分析时所花费时长较长的问题，提出了一种针对SQL语句进行分析数据分析方法，缩短了对SQL语句进行分析时所花费时长，提高了分析效率。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，一种数据处理方法，所述方法包括：

确定数据分析模式；

基于所述数据分析模式，获取历史结构化查询语言SQL语句；

按照预设时间粒度对所述历史SQL语句进行分组处理，得到m组分组SQL语句；其中，m为大于或等于1的正整数；

确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体；

基于m组所述参考数据模型和所述参考数据立方体进行融合处理，得到n个目标数据立方体；其中，n为大于或等于1的正整数；

确定推荐索引为n个所述目标数据立方体，并显示所述推荐索引。

可选的，所述基于所述数据分析模式，获取历史结构化查询语言SQL语句，包括：

若所述数据分析模式为全量模式，获取当前时刻之前的全部历史时刻接收到的原始SQL语句；

对所述原始SQL语句进行预处理，得到所述历史SQL语句；

若所述数据分析模式为增量模式，确定当前分析周期内的SQL增量语句；

对所述SQL增量语句进行预处理，得到所述历史SQL语句。

可选的，所述确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体，得到m组所述参考数据模型和所述参考数据立方体，包括：

对每一组所述分组SQL语句中的每一SQL语句进行解析分析，得到每一组所述分组SQL语句对应的数据表和数据列的统计信息；

基于每一组所述分组SQL语句对应的所述统计信息，确定对应的所述分组SQL语句对应的至少一个第一数据结构信息；

基于至少一个所述第一数据结构信息，确定对应的所述分组SQL语句对应的所述参考数据模型，进而得到m个所述参考数据模型；