[发明专利]数据编码方法、图数据存储方法、图数据查询方法及装置有效

专利信息
申请号: 202111204226.X 申请日: 2021-10-15
公开(公告)号: CN113641841B 公开(公告)日: 2022-02-22
发明(设计)人: 张松清;江进;付治钧;袁琳;朱炳鹏;王伟生 申请(专利权)人: 支付宝(杭州)信息技术有限公司
主分类号: G06F16/51 分类号: G06F16/51;G06F16/53
代理公司: 北京永新同创知识产权代理有限公司 11376 代理人: 林锦辉;刘景峰
地址: 310000 浙江省杭州市*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 编码 方法 存储 查询 装置
【权利要求书】:

1.一种基于完美哈希的数据编码方法,包括:

通过对待编码数据的各个数据记录的键值对中的键进行一致性哈希计算,将待编码数据的数据记录分片为多个数据分片,所得到的各个数据分片的分片标识基于该数据分片中的数据记录的键的一致性哈希值确定;

针对各个数据分片,通过使用完美哈希算法对该数据分片中的各个数据记录的键值对中的键进行完美哈希计算,确定各个数据记录在该数据分片中的片内索引;

基于所述待编码数据的各个数据记录在对应数据分片中的片内索引,将各个数据记录的键值对记录到对应数据分片;以及

针对记录有数据记录的每个数据分片,分别生成数据分片文件以及对应的完美哈希因子文件,所述完美哈希因子文件包括该数据分片中的各个数据记录进行完美哈希计算时使用的完美哈希因子,并且完美哈希因子与数据记录之间具有对应关系。

2.如权利要求1所述的数据编码方法,其中,基于数据记录的键值对中的键对待编码数据的各个数据记录进行数据分片包括:

对待编码数据中的各个数据记录的键值对中的键进行一致性哈希计算;

对各个数据记录的一致性哈希值进行以数据分片数量为模数的取模处理;以及

将取模结果相同的数据记录划分到同一数据分片,各个数据分片的分片标识基于对应的取模结果确定。

3.如权利要求1所述的数据编码方法,其中,所述待编码数据包括图数据的点表数据,所述点表数据的每个节点数据中的图节点的节点标识和节点属性在数据编码时分别充当该节点数据的键和值,基于所述待编码数据的各个数据记录在对应数据分片中的分片索引,将各个数据记录的键值对记录到对应数据分片包括:

基于各个节点数据在对应数据分片中的节点数据片内索引,将各个节点数据的节点标识和节点属性记录到对应数据分片。

4.如权利要求1所述的数据编码方法,其中,所述待编码数据包括图数据的边表数据,所述边表数据的每个边数据包括起始图节点的节点标识、终止图节点的节点标识以及边属性,

在对所述边表数据的各个边数据进行数据分片之前,所述数据编码方法还包括:

通过下述过程对所述边表数据中的边数据进行数据更新:

针对每条边,分别基于起始图节点的节点标识和终止图节点的节点标识进行节点分片,确定起始图节点和终止图节点所在节点分片的节点分片标识,各个节点分片的节点分片标识基于对应节点标识的一致性哈希值确定,以及分别使用点表数据编码时的完美哈希因子文件中的对应完美哈希因子计算起始图节点的节点标识的完美哈希值以及终止图节点的节点标识的完美哈希值,确定起始图节点和终止图节点在所在节点分片中的片内索引;

分别将各个起始图节点的节点分片标识和片内索引组合以及将各个终止图节点的节点分片标识和片内索引组合,得到各个起始图节点的全局节点标识和各个终止图节点的全局节点标识;以及

针对每条边,将起始图节点的全局节点标识和终止图节点的全局节点标识组合为边标识,其中,边标识在数据编码时充当边数据的键,以及边属性在数据编码时充当边数据的值。

5.如权利要求4所述的数据编码方法,其中,基于所述待编码数据的各个数据记录在对应数据分片中的片内索引,将各个数据记录的键值对记录到对应数据分片包括:

基于各个更新后的边数据在对应边数据分片中的边数据片内索引,将各个更新后的边数据的边属性存储到对应边数据分片。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202111204226.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top