[发明专利]一种配置化爬虫质量监测的方法及系统在审
| 申请号： | 201810007604.7 | 申请日： | 2018-01-04 |
| 公开（公告）号： | CN108228431A | 公开（公告）日： | 2018-06-29 |
| 发明（设计）人： | 张波;李界鹏;王能 | 申请（专利权）人： | 北京中关村科金技术有限公司 |
| 主分类号： | G06F11/32 | 分类号： | G06F11/32;G06F11/30;H04L12/24;H04L12/26;H04L29/08 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 罗满 |
| 地址： | 100025 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种配置化爬虫质量监测的方法，包括：获取爬虫程序爬取各网站的授权记录参数，并将授权记录参数保存到数据库中；读取配置文件，以得到需要监测的网站ID、监测时间段及报警阈值；从数据库中读取网站ID对应网站的监测时间段的授权记录参数；判断授权记录参数是否超过报警阈值；若是，则发出报警信号。该方法通过获取爬虫程序爬取各网站的授权记录参数，能够实现多方位监测爬虫程序的授权过程及爬虫质量；通过读取配置文件，以得到需要监测的网站ID、监测时间段及报警阈值，达到根据用户需求做个性化监测的效果。本申请同时还提供了一种配置化爬虫质量监测的系统、服务器及计算机可读存储介质，具有上述有益效果。 | ||
| 搜索关键词： | 网站 记录参数 爬虫 授权 读取 监测时间段 爬虫程序 质量监测 配置文件 报警 监测 配置 数据库 计算机可读存储介质 多方位监测 报警信号 用户需求 申请 服务器 个性化 保存 | ||
【主权项】：
1.一种配置化爬虫质量监测的方法，其特征在于，包括：获取爬虫程序爬取各网站的授权记录参数，并将所述授权记录参数保存到数据库中；读取配置文件，以得到需要监测的网站ID、监测时间段及报警阈值；从所述数据库中读取所述网站ID对应网站的所述监测时间段的授权记录参数；判断所述授权记录参数是否超过所述报警阈值；若是，则发出报警信号。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京中关村科金技术有限公司，未经北京中关村科金技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810007604.7/，转载请声明来源钻瓜专利网。
