[发明专利]数据编码方法、图数据存储方法、图数据查询方法及装置有效
申请号: | 202111204226.X | 申请日: | 2021-10-15 |
公开(公告)号: | CN113641841B | 公开(公告)日: | 2022-02-22 |
发明(设计)人: | 张松清;江进;付治钧;袁琳;朱炳鹏;王伟生 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/51 | 分类号: | G06F16/51;G06F16/53 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉;刘景峰 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 编码 方法 存储 查询 装置 | ||
1.一种基于完美哈希的数据编码方法,包括:
通过对待编码数据的各个数据记录的键值对中的键进行一致性哈希计算,将待编码数据的数据记录分片为多个数据分片,所得到的各个数据分片的分片标识基于该数据分片中的数据记录的键的一致性哈希值确定;
针对各个数据分片,通过使用完美哈希算法对该数据分片中的各个数据记录的键值对中的键进行完美哈希计算,确定各个数据记录在该数据分片中的片内索引;
基于所述待编码数据的各个数据记录在对应数据分片中的片内索引,将各个数据记录的键值对记录到对应数据分片;以及
针对记录有数据记录的每个数据分片,分别生成数据分片文件以及对应的完美哈希因子文件,所述完美哈希因子文件包括该数据分片中的各个数据记录进行完美哈希计算时使用的完美哈希因子,并且完美哈希因子与数据记录之间具有对应关系。
2.如权利要求1所述的数据编码方法,其中,基于数据记录的键值对中的键对待编码数据的各个数据记录进行数据分片包括:
对待编码数据中的各个数据记录的键值对中的键进行一致性哈希计算;
对各个数据记录的一致性哈希值进行以数据分片数量为模数的取模处理;以及
将取模结果相同的数据记录划分到同一数据分片,各个数据分片的分片标识基于对应的取模结果确定。
3.如权利要求1所述的数据编码方法,其中,所述待编码数据包括图数据的点表数据,所述点表数据的每个节点数据中的图节点的节点标识和节点属性在数据编码时分别充当该节点数据的键和值,基于所述待编码数据的各个数据记录在对应数据分片中的分片索引,将各个数据记录的键值对记录到对应数据分片包括:
基于各个节点数据在对应数据分片中的节点数据片内索引,将各个节点数据的节点标识和节点属性记录到对应数据分片。
4.如权利要求1所述的数据编码方法,其中,所述待编码数据包括图数据的边表数据,所述边表数据的每个边数据包括起始图节点的节点标识、终止图节点的节点标识以及边属性,
在对所述边表数据的各个边数据进行数据分片之前,所述数据编码方法还包括:
通过下述过程对所述边表数据中的边数据进行数据更新:
针对每条边,分别基于起始图节点的节点标识和终止图节点的节点标识进行节点分片,确定起始图节点和终止图节点所在节点分片的节点分片标识,各个节点分片的节点分片标识基于对应节点标识的一致性哈希值确定,以及分别使用点表数据编码时的完美哈希因子文件中的对应完美哈希因子计算起始图节点的节点标识的完美哈希值以及终止图节点的节点标识的完美哈希值,确定起始图节点和终止图节点在所在节点分片中的片内索引;
分别将各个起始图节点的节点分片标识和片内索引组合以及将各个终止图节点的节点分片标识和片内索引组合,得到各个起始图节点的全局节点标识和各个终止图节点的全局节点标识;以及
针对每条边,将起始图节点的全局节点标识和终止图节点的全局节点标识组合为边标识,其中,边标识在数据编码时充当边数据的键,以及边属性在数据编码时充当边数据的值。
5.如权利要求4所述的数据编码方法,其中,基于所述待编码数据的各个数据记录在对应数据分片中的片内索引,将各个数据记录的键值对记录到对应数据分片包括:
基于各个更新后的边数据在对应边数据分片中的边数据片内索引,将各个更新后的边数据的边属性存储到对应边数据分片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111204226.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置