专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果79个,建议您升级VIP下载更多相关专利
  • [发明专利]分布式网络爬虫任务调度的方法及系统-CN201310504193.X无效
  • 何学敏 - 深圳市同洲电子股份有限公司
  • 2013-10-24 - 2014-01-15 - G06F17/30
  • 本发明互联网搜索引擎技术领域,提供了一种分布式网络爬虫任务调度的方法及其系统,其中,方法包括:对分布式网络爬虫集群进行配置;第一爬虫分析第一层链接对应的网页,提取网页中存在的第二层链接;根据Hash一致性算法分配与第二层链接对应的爬取任务;如果第二层链接是分配给第一爬虫之外的爬虫,则将第二层链接对应的爬取任务记录到相应序号的爬虫对应的爬取任务文件中;每隔预定的时间间隔将爬取任务文件打包上传到共享目录中;每个爬虫定时到共享目录中提取并执行对应的爬取任务。本发明提供的分布式网络爬虫任务调度的方法及其系统,通过共享任务目录来实现分布式爬虫任务的协同任务调度,能把任务均匀分布到各个爬虫。
  • 分布式网络爬虫任务调度方法系统

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top