[发明专利]爬虫系统中的响应调度方法

说明书

本申请涉及一种爬虫系统中的响应调度方法，该方法包括：根据网站的层级板块结构划分出多个入口种子任务；根据每个入口种子任务所在层级板块和单位时间的新闻量预设初始采集频率；预设多个新闻属性，并制定所述新闻属性对应的调整规则；根据所述调整规则实时更新每个入口种子任务的计算采样频率。本申请为每个入口种子在实时分配最佳采集频率，避免信息产出和频率不对等造成的服务资源浪费，也间接的减轻了监测站点的压力。

技术领域

本申请涉及网络资源搜索技术领域，尤其是一种爬虫系统中的响应调度方法。

背景技术

随着大数据时代的到来，针对海量数据的挖掘与分析已经成为当今的研究热点，而数据采集是数据挖掘与分析的基础。在数据采集的过程中，最重要的就是数据采集的实时性、准确性与全面性。而数据采集的实时性，即一条信息发现的及时与否可以直接影响一个事件的发展，所以在设计爬虫程序的时候，程序扫描监控站点的频率变得至关重要。

相关技术中，数据采集系统通常是对一个站点统一设定一个扫描频率，但是在采集过程中就经常会出现对于变化较快的板块数据进行采集时，实时性较差；或者是对于变化较慢的板块数据进行采集时，其系统资源发生了浪费，还容易因为被监测到不是人为浏览而使爬虫程序被禁。虽然有些系统也会对站点进行板块划分，针对不同的板块和不同的时间段设置不同的采集频率，但是根据现有市场上的每个网站或者说一个网站下的不同板块都会有不同的热点时间段，当一个网站的发文量，浏览量调整时，之前预设的频率还是会出现实时性差的问题。

发明内容

为至少在一定程度上克服对一个站点统一设定一个扫描频率，导致实时性较差或者系统资源发生浪费的问题，本申请提供一种爬虫系统中的响应调度方法，包括：

根据网站的层级板块结构划分出多个入口种子任务；

根据每个入口种子任务所在层级板块和单位时间的新闻量预设初始采集频率；

预设多个新闻属性，并制定所述新闻属性对应的调整规则；

根据所述调整规则实时更新每个入口种子任务的计算采样频率。

进一步的，所述根据网站的层级板块结构划分出多个入口种子任务，包括：所述层级板块结构与入口种子任务一一对应。

进一步的，所述根据每个入口种子任务所在层级板块和单位时间的新闻量预设初始采集频率，包括：

预设一个小时内一个层级版块下新闻量W；

预设每页包含新闻条数n；

初始采集频率p1，p1＝1/(W/n)，p1为每小时采集网站频率。

进一步的，所述多个新闻属性包括：

新闻产出量、新闻阅读量、新闻所在板块级别、新闻采集的时间段、网站的响应速度、是否为热点新闻和是否为首发中的一种或多种。

进一步的，所述制定所述新闻属性对应的调整规则，包括：

预设每个新闻属性的参数；

根据每周期采集参数变化值确定调整规则。

进一步的，所述调整规则，包括：

预设每个新闻属性与采集频率的关系参数值，

通过聚合函数计算得出调整规则。

进一步的，所述聚合函数包括：

行数count、平均avg、总和sum、最大值max中一种或多种。

进一步的，所述对根据调整规则实时更新每个入口种子任务的计算采样频率，包括：

根据第一个新闻属性的调整规则与初始采集频率计算出第一个新闻属性后的中间采样频率；