[发明专利]社交网络用户关系采集系统及方法在审
申请号: | 201610823149.9 | 申请日: | 2016-09-14 |
公开(公告)号: | CN106384292A | 公开(公告)日: | 2017-02-08 |
发明(设计)人: | 卢佳星;刘扬;陈彬;何清刚;辛国栋 | 申请(专利权)人: | 哈尔滨工业大学(威海) |
主分类号: | G06Q50/00 | 分类号: | G06Q50/00;G06F17/30 |
代理公司: | 北京君恒知识产权代理事务所(普通合伙)11466 | 代理人: | 黄启行,张璐 |
地址: | 264200*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种社交网络用户关系采集系统与方法,该系统包括分布式爬虫模块与任务队列模块。其中,任务队列模块包含爬取优先级依次增加的Super队列、Normal队列、Big队列。分布式爬虫模块用于将用户ID按照关系网规模从小到大的顺序分别存放在Normal队列、Big队列、Super队列,并按照所述爬取优先级爬取用户关系数据。本发明根据关系网规模将任务进行等级划分,不同等级的任务按照不同的执行优先级爬取,这样不仅具有控制爬取层数的功能,还可以保证关系网爬取时能够快速收敛。 | ||
搜索关键词: | 社交 网络 用户 关系 采集 系统 方法 | ||
【主权项】:
一种社交网络用户关系采集系统,其特征在于,包括:分布式爬虫模块与任务队列模块;其中,任务队列模块包含爬取优先级依次增加的Super队列、Normal队列、Big队列;分布式爬虫模块用于将用户ID按照关系网规模从小到大的顺序分别存放在Normal队列、Big队列、Super队列,并按照所述爬取优先级爬取用户关系数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学(威海),未经哈尔滨工业大学(威海)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610823149.9/,转载请声明来源钻瓜专利网。