[发明专利]一种数据处理方法、设备和存储介质在审
申请号: | 202210314519.1 | 申请日: | 2022-03-28 |
公开(公告)号: | CN114780574A | 公开(公告)日: | 2022-07-22 |
发明(设计)人: | 黄杰;姜婧妍;张雪岩;位凯志;古亮 | 申请(专利权)人: | 深信服科技股份有限公司 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F16/28 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 钟舒婷;蒋雅洁 |
地址: | 518055 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
确定数据分析模式;
基于所述数据分析模式,获取历史结构化查询语言SQL语句;
按照预设时间粒度对所述历史SQL语句进行分组处理,得到m组分组SQL语句;其中,m为大于或等于1的正整数;
确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体,得到m组所述参考数据模型和所述参考数据立方体;
基于m组所述参考数据模型和所述参考数据立方体进行融合处理,得到n个目标数据立方体;其中,n为大于或等于1的正整数;
确定推荐索引为n个所述目标数据立方体,并显示所述推荐索引。
2.根据权利要求1所述的方法,其特征在于,所述基于所述数据分析模式,获取历史结构化查询语言SQL语句,包括:
若所述数据分析模式为全量模式,获取当前时刻之前的全部历史时刻接收到的原始SQL语句;
对所述原始SQL语句进行预处理,得到所述历史SQL语句;
若所述数据分析模式为增量模式,确定当前分析周期内的SQL增量语句;
对所述SQL增量语句进行预处理,得到所述历史SQL语句。
3.根据权利要求1所述的方法,其特征在于,所述确定每一组所述分组SQL语句对应的参考数据模型和参考数据立方体,得到m组所述参考数据模型和所述参考数据立方体,包括:
对每一组所述分组SQL语句中的每一SQL语句进行解析分析,得到每一组所述分组SQL语句对应的数据表和数据列的统计信息;
基于每一组所述分组SQL语句对应的所述统计信息,确定对应的所述分组SQL语句对应的至少一个第一数据结构信息;
基于至少一个所述第一数据结构信息,确定对应的所述分组SQL语句对应的所述参考数据模型,进而得到m个所述参考数据模型;
基于每一组所述分组SQL语句对应的所述统计信息,确定对应的所述分组SQL语句对应的所述参考数据立方体,进而得到m个所述参考数据立方体。
4.根据权利要求3所述的方法,其特征在于,所述基于至少一个所述第一数据结构信息,确定对应的所述分组SQL语句对应的所述参考数据模型,进而得到m个所述参考数据模型,包括:
按照分组配置参数,对至少一个所述第一数据结构信息进行分组处理,得到至少一组第二数据结构信息;
从至少一组所述第二数据结构信息中,获取与预设属性配置参数匹配的至少一个目标参数属性信息;
基于至少一个所述目标参数属性信息,构建对应的所述分组SQL语句对应的所述参考数据模型,进而得到m个所述参考数据模型。
5.根据权利要求4所述的方法,其特征在于,所述分组配置参数至少包括以下参数之一:表连接信息相同、度量列信息匹配、属于同一数据表。
6.根据权利要求3所述的方法,其特征在于,所述基于每一组所述分组SQL语句对应的所述统计信息,确定对应的所述分组SQL语句对应的所述参考数据立方体,进而得到m个所述参考数据立方体,包括:
按照预设数据立方体构建参数对每一组所述分组SQL语句对应的所述统计信息进行统计,构建对应的所述分组SQL语句对应的所述参考数据立方体,进而得到m个所述参考数据立方体;其中,所述预设数据立方体构建参数包括以下参数至少之一:预设聚合组、预设必须维度、预设联合维度和层级维度。
7.根据权利要求2所述的方法,其特征在于,所述基于m组所述参考数据模型和所述参考数据立方体进行融合处理,得到n个目标数据立方体,包括:
若所述数据分析模式为全量模式,且从m个所述参考数据模型中确定得到n组属于包含关系的第一目标数据模型,获取每一组所述第一目标数据模型对应的所述参考数据立方体;
对每一组所述第一目标数据模型对应的所述参考数据立方体进行融合处理,得到对应的目标数据立方体,进而得到n个目标数据立方体。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深信服科技股份有限公司,未经深信服科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210314519.1/1.html,转载请声明来源钻瓜专利网。