[发明专利]图数据处理方法和图数据的计算任务发布方法有效

专利信息
申请号: 201810467817.8 申请日: 2018-05-16
公开(公告)号: CN108683738B 公开(公告)日: 2020-08-14
发明(设计)人: 郑博;刘日佳;刘志斌;陈谦 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: H04L29/08 分类号: H04L29/08;H04L29/06;H04L9/06
代理公司: 广州华进联合专利商标代理有限公司 44224 代理人: 李文渊;何平
地址: 518000 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据处理 方法 数据 计算 任务 发布
【说明书】:

本申请涉及一种图数据处理方法和图数据的计算任务发布方法,所述图数据处理方法包括:获取从待处理图数据中划分出的子图数据;执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据;将所述全局数据写入区块链网络中;所述区块链网络中的全局数据,由所述分布式计算节点集群更新;从所述区块链网络中获取最新的全局数据;根据获取的最新的全局数据和所述局部数据,迭代执行对于所述子图数据的计算任务,直到满足迭代停止条件时获得计算结果。本申请提供的方案可以提高图数据处理效率。

技术领域

本申请涉及图计算技术领域,特别是涉及一种图数据处理方法和装置、图数据的计算任务发布方法和装置。

背景技术

随着计算机技术的发展,出现了以“图论”为基础的对现实世界的一种图结构的抽象表达,以及在这种数据结构上的计算模式,也就是图计算。在具体应用中,可以用图数据表示社交网络、商品购买关系、道路交通网络、通信网络等等信息,而基于图数据的计算需求也越来越多,越来越复杂。

传统的图计算方法通常是基于中心化思想的图计算方法,在图计算过程中常常使用参数服务器对需要进行共享的数据进行存储和更新。虽然参数服务器可以将需要共享的数据分布式地存储在各个服务器节点上,以在一定程度上避开单点故障,但在数据更新时却需要依赖一个中心化的驱动程序来协调处理。这在图计算过程中往往会导致巨大的网络吞吐量,从而使得网络通信成为图计算系统的瓶颈。特别是当处理超大规模数据量时,数据更新延迟,使得传统的基于中心化的图计算方法存在计算效率低的问题。

发明内容

基于此,有必要针对图数据计算效率低的技术问题,提供一种图数据处理方法、图数据的计算任务发布方法、装置、计算机可读存储介质和计算机设备。

一种图数据处理方法,应用于分布式计算节点集群中的计算节点,包括:

获取从待处理图数据中划分出的子图数据;

执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据;

将所述全局数据写入区块链网络中;所述区块链网络中的全局数据,由所述分布式计算节点集群更新;

从所述区块链网络中获取最新的全局数据;

根据获取的最新的全局数据和所述局部数据,迭代执行对于所述子图数据的计算任务,直到满足迭代停止条件时获得计算结果。

一种图数据处理装置,包括:

计算管理模块,用于获取从待处理图数据中划分出的子图数据;

所述计算管理模块还用于执行对于所述子图数据的计算任务,得到相应的全局数据和局部数据;

通信模块,用于将所述全局数据写入区块链网络中;所述区块链网络中的全局数据,由所述分布式计算节点集群更新;

所述通信模块还用于从所述区块链网络中获取最新的全局数据;

所述计算管理模块还用于根据获取的最新的全局数据和所述局部数据,迭代执行对于所述子图数据的计算任务,直到满足迭代停止条件时获得计算结果。

一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述图数据处理方法的步骤。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述图数据处理方法的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810467817.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top