[发明专利]数据查询系统及方法、电子设备、存储介质在审
申请号: | 202010067053.0 | 申请日: | 2020-01-20 |
公开(公告)号: | CN113139008A | 公开(公告)日: | 2021-07-20 |
发明(设计)人: | 安海雄 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/22 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 王辉;阚梓瑄 |
地址: | 100176 北京市北京经济技术*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 查询 系统 方法 电子设备 存储 介质 | ||
本公开提供一种数据查询系统及方法、电子设备、存储介质;涉及大数据技术领域。所述系统包括:SDK模块,用于获取查询信息,将查询信息通过路由模块发送至后台管理模块;一个或多个路由模块,用于将业务数据路由至多个elasticsearch集群;后台管理模块,用于根据接收到的查询信息,确定待查询数据;根据数据与elasticsearch集群的映射关系,确定待查询数据对应的目标elasticsearch集群;路由模块,还用于从目标elasticsearch集群中查询待查询数据;多个elasticsearch集群,用于存储业务数据。本公开可以降低应用层开发的复杂度,提高开发效率。
技术领域
本公开涉及大数据技术领域,具体而言,涉及一种数据查询系统、数据查询方法、电子设备以及计算机可读存储介质。
背景技术
大数据技术为各行各业带来了突飞猛进的发展,大数据分析给电商行业带来了巨大的商业价值。相关技术中,可以将elasticsearch作为存储引擎和查询引擎,通过elasticsearch进行数据查询。然而,在数据规模较大时,需要在应用层根据业务字段进行分集群、分索引管理,导致应用层开发的复杂度较高,开发效率较低。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据查询系统、数据查询方法、电子设备以及计算机可读存储介质,进而在一定程度上克服由于相关技术的限制和缺陷而导致的在大规模数据查询时,应用层开发的复杂度较高,开发效率较低的问题。
根据本公开的第一方面,提供一种数据查询系统,包括:软件开发工具包SDK模块、一个或多个路由模块、后台管理模块和多个elasticsearch集群;
所述SDK模块,用于获取查询信息,将所述查询信息通过所述路由模块发送至所述后台管理模块;
所述路由模块,用于将业务数据路由至所述多个elasticsearch集群;
所述后台管理模块,用于根据接收到的查询信息,确定待查询数据;根据数据与elasticsearch集群的映射关系,确定所述待查询数据对应的目标elasticsearch集群;
所述路由模块,还用于从所述目标elasticsearch集群中查询所述待查询数据;
所述多个elasticsearch集群,用于存储所述业务数据。
可选的,所述路由模块为可插拔模块。
可选的,所述路由模块具体用于对所述业务数据进行分组,得到多个分组数据,并将所述多个分组数据路由至所述多个elasticsearch集群。
可选的,所述路由模块具体用于确定单个分组数据分别对应的elasticsearch集群以及elasticsearch集群的索引,建立分组数据、elasticsearch集群和索引之间的映射关系表。
可选的,所述后台管理模块具体用于根据接收到的查询信息,确定所述待查询数据对应的各目标分组数据,获取并根据所述映射关系表,确定所述各目标分组数据对应的所述目标elasticsearch集群,以及所述目标elasticsearch集群的目标索引。
可选的,所述路由模块具体用于从所述各目标分组数据对应的所述目标elasticsearch集群的目标索引中查询所述各目标分组数据。
可选的,所述路由模块具体用于通过哈希算法将所述多个分组数据路由至所述多个elasticsearch集群。
可选的,针对单个分组数据,该分组数据对应一个elasticsearch集群的一个或多个索引。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010067053.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:深度学习模型的调优方法和计算装置
- 下一篇:土壤修复剂及其应用
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置