[发明专利]爬虫模板变更的监测方法、系统、电子设备及存储介质

权利要求书

1.一种爬虫模板变更的监测方法，其特征在于，包括：

在爬虫脚本库中查找无数据的爬虫脚本，爬虫脚本库中包括不能够爬取到数据的无数据爬虫脚本和能够爬取到数据的有数据爬虫脚本，每一个爬虫脚本均唯一对应一个配置id；

将查找到的所有无数据的爬虫脚本所对的配置id存储至无数据爬虫脚本数据库中；

将无数据爬虫脚本数据库中的配置id加入检测队列进行无数据检测；

根据所述配置id得到所述配置id所对应的爬虫脚本的代码信息；

根据所述代码信息得到所述爬虫脚本中的URL集合，遍历下载所述URL集合中的每一个URL，得到每一个URL下载结果值；

判断所述URL下载结果值是否为空；

若所述URL下载结果值不为空，则判断URL请求响应状态码是否等于第一预设状态码；

若所述URL请求响应状态码等于所述第一预设状态码，则对URL进行爬虫解析，得到URL详情链接数量；

判断所述URL详情链接数量是否大于零；

若所述URL详情链接数量小于或者等于零，则表明列表页模板变更；

若所述URL详情链接数量大于零，则判断位于三层模板中的回调函数的回调返回值是否有值；

若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测；其中，两层模板为列表页和详情页；

若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测；其中，三层模板为列表页、二级列表页和详情页。

2.如权利要求1所述的爬虫模板变更的监测方法，其特征在于，若所述回调返回值没有值，则所述URL无二级链接，进行两层模板检测的步骤中，包括：

若所述回调返回值没有值，则下载列表链接，得到列表链接下载返回值；

判断所述列表链接下载返回值是否为空；

若所述列表链接下载返回值不为空，则判断列表链接请求状态码是否等于第二预设状态码；

若所述列表链接请求状态码等于所述第二预设状态码，则进入详情页进行检测。

3.如权利要求1所述的爬虫模板变更的监测方法，其特征在于，若所述回调返回值有值，则所述URL有二级链接，进行三层模板检测的步骤中，包括：

若所述回调返回值有值，则下载二级列表页链接，得到二级列表页链接下载返回值；

判断所述二级列表页链接下载返回值是否为空；

若所述二级列表页链接下载返回值不为空，则判断二级列表页请求状态码是否等于第三预设状态码；

若所述二级列表页请求状态码等于所述第三预设状态码，则进入二级爬虫解析，得到二级列表页详情链接数量；

判断所述二级列表页详情链接数量是否大于零；

若所述二级列表页详情链接数量小于或者等于零，则表明二级列表页模板变更；

若所述二级列表页详情链接数量大于零，则遍历下载二级列表详情页链接，得到二级列表详情页下载返回值；

判断所述二级列表详情页下载返回值是否为空；

若所述二级列表详情页下载返回值不为空，则判断二级列表详情页请求状态码是否等于第四预设状态码；

若所述二级列表详情页请求状态码等于第四预设状态码，则进入详情页进行检测。

4.如权利要求2或者3所述的爬虫模板变更的监测方法，其特征在于，进入详情页进行检测的步骤中，包括：

下载第一详情函数，得到第一详情函数下载返回值；其中，第一详情函数用于解析获取详情页中的字段；

判断所述第一详情函数下载返回值是否有值；

若所述第一详情函数下载返回值没有值，则表明详情模板变更；

若所述第一详情函数下载返回值有值，则检测标题字段和内容字段；

当所述标题字段和内容字段能够解析到，则表明详情模板未变更；

当所述标题字段和内容字段不能解析到，则表明详情模板变更。

5.如权利要求4所述的爬虫模板变更的监测方法，其特征在于，进入详情页进行检测的步骤中，还包括：

在第一详情函数下载过程中，若出现解析异常，则爬虫脚本解析失败。