[发明专利]一种网站链接检测方法及系统

权利要求书

1.一种网站链接检测方法，其特征在于，包括：

获取发布在平台内的外站链接，并请求爬虫控制服务对外站链接所对应的网页内容进行抓取；

爬虫控制服务收到对外站链接所对应的网页内容进行抓取的请求后，从已注册的爬虫程序实体Agent中寻找可用爬虫程序实体Agent，并请求该可用爬虫Agent对外站链接所对应的网页内容实施抓取；

可用爬虫Agent接收到爬虫控制服务对外站链接所对应的网页内容实施抓取的请求后，对浏览器自身信息和可用爬虫Agent的IP地址分别进行伪装；向外站链接所在服务器发送查看外站链接所对应的网页内容的请求，在将外站链接所对应的网页内容全部抓取完毕后，将采用超文本描述语言html形式的网页内容和在浏览器中显示的网页内容的截图返回给爬虫控制服务；

内容检测流节点接收来自爬虫控制服务提供的html形式的网页内容和在浏览器中显示的网页内容的截图，并根据html形式的网页内容的关键词和/或在浏览器中显示的网页内容的截图检测外站链接是否为合法链接，将检测结果进行反馈并记录在关系型数据库中。

2.根据权利要求1所述的网站链接检测方法，其特征在于，所述方法还包括：

根据前一时间段内请求抓取的网页内容的增加数量预测下一时间段内请求抓取的网页内容的估计数量，通过docker镜像启动与请求抓取的网页内容的估计数量相匹配的爬虫Agent；

每个爬虫Agent在刚启动时向爬虫控制服务进行注册，注册过程中将其基本信息告知爬虫控制服务，其中，爬虫Agent的基本信息包括：版本号，IP地址，端口信息，其中，不同爬虫agent具有不同的端口信息用以爬虫控制服务进行区分。

3.根据权利要求1所述的网站链接检测方法，其特征在于，所述对浏览器自身信息和可用爬虫Agent的IP地址分别进行伪装，具体包括：

可用爬虫Agent从浏览器标识UA池中获取至少一个UA，将所获取的UA作为浏览器自身信息，所述UA是浏览器发起的http请求中的一个字段，该字段用于浏览器向所请求的服务器端发送其版本和内核信息；以及可用爬虫Agent从代理IP池中获取至少一个可用代理IP，将所获取的可用代理IP作为可用爬虫Agent的IP地址；

通过获取的UA和可用代理IP将可用爬虫Agent伪装成与普通用户使用的浏览外站链接的浏览器相同的浏览器。

4.根据权利要求1所述的网站链接检测方法，其特征在于，还包括：

爬虫控制服务收到外站链接的html形式的网页内容和在浏览器中显示的网页内容的截图后，通过哈希hash算法对该外站链接内的主机host进行处理，将该外站链接的基本信息存储在关系型数据库内，且同一主机host的不同外站链接的基本信息分别存储在同一逻辑库下的不同关系型数据库；所述关系型数据库用于存储与外站链接相关的元数据，所述元数据包括：本次外站链接的检测结果、录入时间、以及外站链接的html形式的网页内容和在浏览器中显示的网页内容的截图存储在分布式数据库的索引、或外站链接的html形式的网页内容和在浏览器中显示的网页内容的截图存储在分布式文件系统的索引；

爬虫控制服务收到外站链接的超文本描述语言html形式的网页内容和在浏览器中显示的网页内容的截图后，将外站链接的超文本描述语言html形式的网页内容和在浏览器中显示的网页内容的截图存储在分布式数据库或分布式文件系统。

5.根据权利要求1所述的网站链接检测方法，其特征在于，所述向外站链接所在服务器发送查看外站链接所对应的网页内容的请求，具体是指：通过采用伪装后的无用户图像界面模式的浏览器向外站链接所在服务器发送所述请求。