[发明专利]图数据处理方法和图数据的计算任务发布方法有效

专利信息
申请号: 201810467817.8 申请日: 2018-05-16
公开(公告)号: CN108683738B 公开(公告)日: 2020-08-14
发明(设计)人: 郑博;刘日佳;刘志斌;陈谦 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: H04L29/08 分类号: H04L29/08;H04L29/06;H04L9/06
代理公司: 广州华进联合专利商标代理有限公司 44224 代理人: 李文渊;何平
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据处理 方法 数据 计算 任务 发布
【权利要求书】:

1.一种图数据处理方法,应用于分布式计算节点集群中的计算节点,包括:

获取从待处理图数据中划分出的子图数据;

执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据;

将所述全局数据写入区块链网络中;所述区块链网络中的全局数据,由所述分布式计算节点集群更新;

从所述区块链网络中获取最新的全局数据;

根据获取的最新的全局数据和所述局部数据,迭代执行对于所述子图数据的计算任务,直到满足迭代停止条件时获得计算结果。

2.根据权利要求1所述的方法,其特征在于,所述获取从待处理图数据中划分出的子图数据,包括:

获取区块链网络中广播的与待处理图数据相对应的任务信息;

根据所述任务信息,读取相应的任务可执行文件和从待处理图数据中划分出的子图数据;

所述执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据包括:

执行所述任务可执行文件,以执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据。

3.根据权利要求2所述的方法,其特征在于,所述获取区块链网络中广播的与待处理图数据相对应的任务信息包括:

定时检测区块链网络中广播的与待处理图数据相对应的任务信息;

当检测到所述任务信息时,确定当前计算节点的负载状态;

当所述负载状态满足预设负载条件时,拉取所述任务信息。

4.根据权利要求1所述的方法,其特征在于,所述将所述全局数据写入区块链网络中包括:

创建新区块;

将所述全局数据写入创建的新区块;

当所述新区块通过区块链网络验证后,将所述新区块加入所述区块链网络。

5.根据权利要求4所述的方法,其特征在于,所述将所述全局数据写入创建的新区块包括:将所述全局数据和相应的计算任务执行日志写入新区块;

所述方法还包括:

根据所述区块链网络中的计算任务执行日志,确定故障计算节点和相应的丢失数据;

确定参与重建所述丢失数据的计算节点;

从确定的计算节点中获取与所述故障计算节点相关的局部数据;

根据获取的局部数据重建所述丢失数据。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

查找本地与所述故障计算节点相关的局部数据;

将查找到的局部数据共享至参与重建所述丢失数据的计算节点;共享的局部数据用于重建所述丢失数据。

7.根据权利要求1所述的方法,其特征在于,所述从所述区块链网络中获取最新的全局数据包括:

定时检测所述区块链网络中的区块数量;

当所述区块数量增加时,获取新区块中记录的全局数据;

根据获取的全局数据更新本地的全局数据。

8.根据权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:

获取已形成相应区块链数据且已完成的计算任务所对应的第一量化值;

获取未形成相应区块链数据且已完成的计算任务所对应的第二量化值;

确定所述子图数据中未完成的计算任务所对应的第三量化值;

当所述第二量化值和所述第三量化值不符合均衡条件时,在计算节点之间进行图节点和第一量化值的交换。

9.一种图数据的计算任务发布方法,应用于控制节点,所述方法包括:

获取与待处理图数据相对应的任务信息;

创建新区块;

将所述任务信息写入所述新区块;

当所述新区块通过区块链网络验证后,将所述新区块加入所述区块链网络;

在所述区块链网络中广播所述任务信息;广播的任务信息,用于指示计算节点获取从待处理图数据中划分出的子图数据,并基于所述区块链网络迭代执行对于所述子图数据的计算任务,获得计算结果。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810467817.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top