专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果2个,建议您升级VIP下载更多相关专利
  • [发明专利]分布式爬虫的调度处理方法、装置及设备-CN202010190446.0在审
  • 杨绍琛 - 大箴(杭州)科技有限公司
  • 2020-03-18 - 2020-08-11 - G06F9/50
  • 本申请公开了一种分布式爬虫的调度处理方法、装置及设备,涉及互联网技术领域。其中方法包括:首先将数据源网站各自对应的待爬取URL任务分配给各个子集群,其中,所述子集群各自专注于一个数据源网站的爬取,并消耗各自被分配到的代理池消耗带宽;然后在爬取数据源网站的过程中,获取各个所述子群集的动态采集速度;根据所述动态采集速度,更新各个所述子集群的服务器数量和代理池消耗带宽。本申请可根据不同采集源的采集速度,动态计算出最合理的集群资源配置,实现高效的分布式爬虫解决方案,更加合理的利用硬件资源以提高整个集群的采集效率。本申请适用于分布式爬虫的调度处理。
  • 分布式爬虫调度处理方法装置设备

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top