[发明专利]一种链接分析的计算方法和装置及系统有效
申请号: | 201310499550.8 | 申请日: | 2013-10-22 |
公开(公告)号: | CN104572729B | 公开(公告)日: | 2019-04-02 |
发明(设计)人: | 蒲若昂 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/29 | 分类号: | G06F16/29 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 杨伦 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明实施例公开了一种链接分析的计算方法和装置及系统,用于减少对内存的占用,数据计算成本较低。本发明实施例方法包括:处理机从分布式文件系统中获取管理服务器预处理生成的第一子地图数据,第一子地图数据包括第一节点的身份识别码ID和第一节点的边所链接的目标节点的ID;处理机在第一超级步super step中对第一子地图数据中的每一个目标节点进行权值分发,针对第一子地图数据中的每一个目标节点分别生成消息,消息包括处理机在第一super step中为第一子地图数据中的每一个目标节点分发的权值;处理机将在第一super step中对第一子地图数据中的每一个目标节点分别生成的消息存储到分布式文件系统中。 | ||
搜索关键词: | 子地图 目标节点 处理机 分布式文件系统 方法和装置 链接分析 分发 预处理 管理服务器 身份识别码 数据包括 数据计算 消息存储 链接 占用 | ||
【主权项】:
1.一种链接分析的计算方法,其特征在于,包括:处理机从分布式文件系统中获取管理服务器预处理生成的第一子地图数据,所述第一子地图数据包括第一节点的身份识别码ID和所述第一节点的边所链接的目标节点的ID;所述处理机在第一超级步super step中对所述第一子地图数据中的每一个目标节点进行权值分发,针对所述第一子地图数据中的每一个目标节点分别生成消息,所述消息包括所述处理机在第一super step中为所述第一子地图数据中的每一个目标节点分发的权值;所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中;其中,所述处理机将在所述第一super step中对所述第一子地图数据中的每一个目标节点分别生成的消息存储到所述分布式文件系统中,包括:所述处理机将在所述第一super step中每生成一个消息后,就将生成的消息留存在所述处理机的内存中;当所述处理机的内存中留存的消息数量达到预置的消息记录数时,所述处理机将所述内存中留存的消息发送到所述处理机的本地数据缓冲区,所述本地数据缓冲区中还存储有所述处理机对第二子地图数据中的每个目标节点分别生成的消息,所述第二子地图数据包括第二节点的ID和所述第二节点的边所链接的目标节点的ID;当所述本地数据缓冲区中存储的消息超过容量门限时,所述处理机将所述本地数据缓冲区中存储的消息批量存储到所述分布式文件系统中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310499550.8/,转载请声明来源钻瓜专利网。
- 上一篇:一种撤销和/或重做的实现方法和装置
- 下一篇:指纹识别传感器和终端设备