[发明专利]一种蜘蛛调度中心采集动态调整算法

摘要

本发明公开了一种蜘蛛调度中心采集动态调整算法，该算法主要从两个方面入手：一是在蜘蛛的运行过程中自动的根据采集到的数据对任务的采集间隔进行动态调整，以达到运行时间越长，性能越优；二是通过分析蜘蛛的采集日志，挖掘数据量采集最大的时间段，对该时间段在任务配置中进行重点照顾；任务调度中有两个重要参数：采集间隔、重点更新时间段；无需人工干预，根据不同网站的更新频率以及更新时间段自动适应。达到采集最大化效率的目的。

主权项

一种蜘蛛调度中心采集动态调整算法，其特征在于：该算法主要从两个方面入手：一是在蜘蛛的运行过程中自动的根据采集到的数据对任务的采集间隔进行动态调整，以达到运行时间越长，性能越优；二是通过分析蜘蛛的采集日志，挖掘数据量采集最大的时间段，对该时间段在任务配置中进行重点照顾；任务调度中有两个重要参数：采集间隔、重点更新时间段。算法步骤：1、蜘蛛向任务调度中心发起一个获取任务的请求。2、调度中心对所有网站进行一次分组，分组条件为当前时间段是否是该网站的重点更新时间段。3、对两个分组的数据进行分别排序，排序条件为上一次采集时间加上采集间隔。取时间最小的且小于当前时间的任务返回。如果没有符合条件的则直接返回为空。两个分组的返回优先级为先取在重点更新时间段的组。4、蜘蛛如果没有成功获取到任务则返回流程1，如果成功获取则进行数据采集。5、记录当前的采集量到日志。如果当前有采集到新的数据，通知调度中心自动的将采集间隔调小，如乘以一个小于1的权重值如0.9，如果没有采集到新的数据则增加一定的采集间隔，入乘以大于1的权重值1.1。6、继续返回1获取下一个任务。7、同时另外有一个后台程序根据采集日志，绘制采集量统计图，综合多天的数据获取采集量的波峰对应时间段，更新到调度中心。