[发明专利]大数据查询优化方法、设备及可读存储介质在审
申请号: | 202110255512.2 | 申请日: | 2021-03-09 |
公开(公告)号: | CN112860736A | 公开(公告)日: | 2021-05-28 |
发明(设计)人: | 蔡凯;廖海波;陈婷;吴三平;王宗泽 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455;G06F16/242 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 张志江 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 查询 优化 方法 设备 可读 存储 介质 | ||
1.一种大数据查询优化方法,其特征在于,所述大数据查询优化方法包括:
获取大数据查询任务对应的任务数据,并对所述任务数据进行解析,获得任务特征表示数据;
基于所述任务特征表示数据与预设任务执行引擎判别模型,判别所述大数据查询任务所需的任务执行引擎,获得执行引擎判别结果;
依据所述执行引擎判别结果,执行大数据查询任务。
2.如权利要求1所述大数据查询优化方法,其特征在于,所述依据所述执行引擎判别结果,执行大数据查询任务的步骤包括:
基于所述执行引擎判别结果,确定目标任务引擎类别和引擎资源;
依据所述目标任务引擎类别和所述引擎资源,执行所述大数据查询任务。
3.如权利要求2所述大数据查询优化方法,其特征在于,所述执行引擎判别结果包括执行引擎判别向量,
所述基于所述执行引擎判别结果,确定目标任务引擎类别和引擎资源的步骤包括:
依据所述执行引擎判别向量中的第一位编码值,确定所述目标任务引擎类别;
依据所述执行引擎判别向量中的第二位编码值,确定所述引擎资源。
4.如权利要求2所述大数据查询优化方法,其特征在于,在所述依据所述目标任务引擎类别和所述引擎资源,执行所述大数据查询任务的步骤之后所述大数据查询优化方法还包括:
判断所述大数据查询任务是否执行成功;
若执行失败,则调整所述目标任务执行引擎类别,以重新执行所述大数据查询任务。
5.如权利要求1所述大数据查询优化方法,其特征在于,所述任务数据至少包括数据量信息、关键词信息和关联数据信息中的一种。
6.如权利要求1所述大数据查询优化方法,其特征在于,所述预设任务执行引擎判别模型包括决策树模型,
所述基于所述任务特征表示数据与预设任务执行引擎判别模型,判别所述大数据查询任务所需的任务执行引擎,获得执行引擎判别结果的步骤包括:
遍历所述决策树模型中各目标决策树,获得所述任务特征表示数据对应的树输出结果;
基于所述树输出结果,确定所述任务特征表示数据对应的分类标签值;
基于所述分类标签值,生成所述执行引擎判别结果。
7.如权利要求1所述大数据查询优化方法,其特征在于,所述预设任务执行引擎判别模型包括神经网络模型,所述任务特征表示数据包括任务特征表示数据包括任务特征表示向量,
所述基于所述任务特征表示数据与预设任务执行引擎判别模型,判别所述大数据查询任务所需的任务执行引擎,获得执行引擎判别结果的步骤包括:
基于所述神经网络模型,将所述任务特征表示向量映射为分类标签值;
基于所述分类标签值,生成所述执行引擎判别结果。
8.如权利要求1所述大数据查询优化方法,其特征在于,在所述依据所述执行引擎判别结果,执行大数据查询任务的步骤之后,所述大数据查询优化方法还包括:
获取任务查询失败次数,并判断所述任务查询失败次数是否满足预设模型调整条件;
若满足,则对所述预设任务执行引擎判别模型进行基于强化学习的更新,获得目标任务执行引擎判别模型。
9.一种大数据查询优化设备,其特征在于,所述大数据查询优化设备包括:存储器、处理器以及存储在存储器上的用于实现所述大数据查询优化方法的程序,
所述存储器用于存储实现大数据查询优化方法的程序;
所述处理器用于执行实现所述大数据查询优化方法的程序,以实现如权利要求1至8中任一项所述大数据查询优化方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现大数据查询优化方法的程序,所述实现大数据查询优化方法的程序被处理器执行以实现如权利要求1至8中任一项所述大数据查询优化方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110255512.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置