[发明专利]分布式系统的网页分配方法及系统在审
申请号: | 201711054268.3 | 申请日: | 2017-10-31 |
公开(公告)号: | CN107589991A | 公开(公告)日: | 2018-01-16 |
发明(设计)人: | 马岩 | 申请(专利权)人: | 麦格创科技(深圳)有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F17/30 |
代理公司: | 深圳市科冠知识产权代理有限公司44355 | 代理人: | 王海骏 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 系统 网页 分配 方法 | ||
1.一种分布式系统的网页分配方法,其特征在于,所述方法包括如下步骤:
分布式设备接收或发起任务消息,所述任务消息用于在分布式系统中分配网页采集任务;
分布式设备将N个数据包依次发送给分布式系统的其他M个设备;
分布式设备统计M个设备返回的N个数据包的M组N个时延;
分布式设备依据每组N个时延中的最大时延分配网页任务。
2.根据权利要求1所述的方法,其特征在于,所述分布式设备依据该M个时延和分配网页采集任务,具体包括:
分布式设备对最大时延在第一区间的X个设备分配第一组网页采集任务,将最大时延在第二区间的Y个设备分给第二组网页采集任务,其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延,第一组网页采集任务大于第二组网页采集任务。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
分布式设备在配置完第一网页采集任务时,将第一网页采集任务群发给分布式系统的其他设备,接收其他设备返回的确认消息。
4.一种分布式系统的网页分配系统,其特征在于,所述系统包括:分布式设备以及M个设备,所述分布式设备与M个设备连接;
分布式设备,用于接收或发起任务消息,所述任务消息用于在分布式系统中分配网页采集任务;将N个数据包依次发送给分布式系统的其他M个设备;统计M个设备返回的N个数据包的M组N个时延;依据每组N个时延中的最大时延分配网页任务;
所述M个设备,用于接收分配网页采集任务执行网页采集。
5.根据权利要求4所述的系统,其特征在于,
所述分布式设备,还用于对最大时延在第一区间的X个设备分配第一组网页采集任务,将最大时延在第二区间的Y个设备分给第二组网页采集任务,其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延,第一组网页采集任务大于第二组网页采集任务。
6.根据权利要求4所述的方法,其特征在于,
所述分布式设备,还用于在配置完第一网页采集任务时,将第一网页采集任务群发给分布式系统的其他设备,接收其他设备返回的确认消息。
7.一种分布式设备,包括:处理器、无线收发器、存储器和总线,所述处理器、无线收发器、存储器通过总线连接,其特征在于,
所述无线收发器,用于接收或发起任务消息,所述任务消息用于在分布式系统中分配网页采集任务;
所述处理器,用于将N个数据包依次发送给分布式系统的其他M个设备;统计M个设备返回的N个数据包的M组N个时延;依据每组N个时延中的最大时延分配网页任务。
8.根据权利要求7所述的服务器,其特征在于,所述处理器,用于对最大时延在第一区间的X个设备分配第一组网页采集任务,将最大时延在第二区间的Y个设备分给第二组网页采集任务,其中第一区间的X个设备的最大时延低于第二区间的Y个设备的最大时延,第一组网页采集任务大于第二组网页采集任务。
9.根据权利要求7所述的服务器,其特征在于,所述处理器,用于在配置完第一网页采集任务时,将第一网页采集任务群发给分布式系统的其他设备,接收其他设备返回的确认消息。
10.一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-3任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于麦格创科技(深圳)有限公司,未经麦格创科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711054268.3/1.html,转载请声明来源钻瓜专利网。