[发明专利]一种查询唯一值的方法及设备有效
申请号: | 201710093382.0 | 申请日: | 2017-02-21 |
公开(公告)号: | CN108460048B | 公开(公告)日: | 2022-05-10 |
发明(设计)人: | 周正中 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
代理公司: | 上海百一领御专利代理事务所(普通合伙) 31243 | 代理人: | 陈贞健;王路丰 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 查询 唯一 方法 设备 | ||
本申请的目的是提供一种查询唯一值的方法及设备,本申请通过已创建好的索引树,根据索引树中的上层节点中记录的该上层节点所包含的叶子节点及该叶子节点中的指引记录的稀疏列的值的最值,确定当前待查询的稀疏列的值,并在所述叶子节点中依次查找当前待查询的稀疏列的值所属的第一条指引记录,所述指引记录包括数据的存储位置和对应的所述数据中的稀疏列的值,所述指引记录按照所述稀疏列的值从小到大的顺序,依次存于索引树的各连续的叶子节点;并根据查找到的第一条指引记录中数据的存储位置,获取对应的所述数据,将获取到的所述数据中的稀疏列的值加入唯一值集合,实现了基于该索引树,完成对待查询的稀疏列的值的唯一值的快速获取。
技术领域
本申请涉及计算机领域,尤其涉及一种查询唯一值的方法及设备
背景技术
稀疏列是指稀疏列所属的总的记录数据很多,但是值却不多的列,例如,某个环卫公司有1000辆车,若每辆车每天可能产生10万条行驶轨迹的记录数据,其中这些记录数据中有一个列存储的是车辆的车牌,那么在总的1亿记录中,车牌所属列的值实际上只有1000个。唯一值,用于指示在一张表中,某列的取值个数,例如在该稀疏列(车牌)的唯一值就是这1000个车牌。
现有技术中,由于稀疏列所属的记录数据存储在没有规则拍讯的堆表中,若需计算稀疏列的唯一值,则需要扫描全表,对稀疏列进行排序,然后去除稀疏列的重复值,得到稀疏列的唯一值的个数。例如如图1所示,在上述车辆在一天中的所有1亿条记录数据存储于堆表中,当需计算有多少辆车子出勤了的时候,则需对上述1亿的记录数据进行排序,然后去除车辆对应的车牌的重复值所属的记录数据,每个车辆对应的车牌所属的记录数据只留下一条,则计算得到的车辆对应的车牌的总数,可以得到车牌(稀疏列)的唯一值的个数,导致整个过程的资源开销非常大且效率低。进一步地,现有技术还使用索引,对需要计算唯一值的稀疏列创建索引树,由于索引是已经对稀疏列的排序后的数据组织,故不需要排序的过程,又由于数据库是支持并行访问的,每天记录数据有版本信息但索引没有版本信息,需要扫描索引树中的所有的叶子节点,然后去重,并统计稀疏列的唯一值所属的记录数据条数,导致查找稀疏列的唯一值的工作量大且效率低,进而无法快速地获取稀疏列的唯一值。
发明内容
本申请的一个目的是提供一种查询唯一值的方法及设备,解决现有技术中查找唯一值导致的工足量大且效率低的问题。
根据本申请的一个方面,提供了一种含有稀疏列的数据的存储方法,该方法包括:
获取数据的存储位置和对应的所述数据中的稀疏列的值,将数据的存储位置和对应的所述数据中的稀疏列的值作为指引记录;
按照所述稀疏列的值从小到大的顺序,将所述指引记录依次存入索引树的各连续的叶子节点;
在所述叶子节点的上层节点中记录该上层节点所包含的叶子节点及该叶子节点中指引记录的稀疏列的值的最值。
进一步地,上述方法中,所述在所述叶子节点的上层节点中记录该上层节点所包含的叶子节点及该叶子节点中指引记录的稀疏列的值的最值,包括:
在所述叶子节点的上层节点中记录该上层节点所包含的叶子节点及该叶子节点中指引记录的稀疏列的值的最大值或最小值。
进一步地,上述方法中,所述上层节点包括所述叶子节点的上一层根节点,
在所述叶子节点的上层节点中记录该上层节点所包含的叶子节点及该叶子节点中指引记录的稀疏列的值的最值,包括:
在所述根节点中记录其所包含的叶子节点及该叶子节点中的指引记录中的稀疏列的值的最值。
进一步地,上述方法中,所述上层节点包括所述叶子节点的上一层分支节点和所述分支节点的上一层根节点,
在所述叶子节点的上层节点中记录该上层节点所包含的叶子节点及该叶子节点中指引记录的稀疏列的值的最值,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710093382.0/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据同步方法及设备
- 下一篇:一种确定信息类别的方法和系统