[发明专利]一种网站链接检测方法及系统

说明书

本发明实施例提供一种网站链接检测方法及系统，包括：获取发布在平台内的外站链接并请求对外站链接所对应的网页内容进行抓取；爬虫控制服务寻找可用爬虫程序实体Agent并请求对外站链接所对应的网页内容实施抓取；可用爬虫Agent对浏览器自身信息和可用爬虫Agent的IP地址分别进行伪装；在将外站链接所对应的网页内容全部抓取完毕后，将网页内容和网页内容的截图返回给爬虫控制服务；内容检测流节点根据html形式的网页内容的关键词和/或在浏览器中显示的网页内容的截图检测外站链接是否为合法链接。能够实时检测外站链接，针对外站链接的抓取率高，所以能够保证合法外站链接正常释放，检测效率高。

技术领域

本发明涉及网络安全领域，具体涉及一种网站链接检测方法及系统。

背景技术

目前，在网站的外部链接检测主要使用人工检测+白名单机制，按域名人工筛选审核后添加到白名单，对非白名单范围内的网站链接进行过滤封禁等操作。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：这种方法一方面大量依赖人工操作，另一方面实效性差，合法网站难以通过检查，效率较低。

发明内容

本发明实施例提供一种网站链接检测方法及系统，能够实时检测外站链接，针对外站链接的抓取率高，所以能够保证合法外站链接正常释放，检测效率高。

为达上述目的，一方面，本发明实施例提供一种网站链接检测方法，包括：

获取发布在平台内的外站链接，并请求爬虫控制服务对外站链接所对应的网页内容进行抓取；

爬虫控制服务收到对外站链接所对应的网页内容进行抓取的请求后，从已注册的爬虫程序实体Agent中寻找可用爬虫程序实体Agent，并请求该可用爬虫Agent对外站链接所对应的网页内容实施抓取；

可用爬虫Agent接收到爬虫控制服务对外站链接所对应的网页内容实施抓取的请求后，对浏览器自身信息和可用爬虫Agent的IP地址分别进行伪装；向外站链接所在服务器发送查看外站链接所对应的网页内容的请求，在将外站链接所对应的网页内容全部抓取完毕后，将采用超文本描述语言html形式的网页内容和在浏览器中显示的网页内容的截图返回给爬虫控制服务；

内容检测流节点接收来自爬虫控制服务提供的html形式的网页内容和在浏览器中显示的网页内容的截图，并根据html形式的网页内容的关键词和/或在浏览器中显示的网页内容的截图检测外站链接是否为合法链接，将检测结果进行反馈并记录在关系型数据库中。

另一方面，本发明实施例提供一种网站链接检测系统，包括：

链接获取单元，用于获取发布在平台内的外站链接，并请求爬虫控制服务对外站链接所对应的网页内容进行抓取；

爬虫控制服务，用于收到对外站链接所对应的网页内容进行抓取的请求后，从已注册的爬虫程序实体Agent中寻找可用爬虫程序实体Agent，并请求该可用爬虫Agent对外站链接所对应的网页内容实施抓取；

爬虫Agent，用于接收到爬虫控制服务对外站链接所对应的网页内容实施抓取的请求后，对浏览器自身信息和可用爬虫Agent的IP地址分别进行伪装；向外站链接所在服务器发送查看外站链接所对应的网页内容的请求，在将外站链接所对应的网页内容全部抓取完毕后，将采用超文本描述语言html形式的网页内容和在浏览器中显示的网页内容的截图返回给爬虫控制服务；

内容检测流节点，用于接收来自爬虫控制服务提供的html形式的网页内容和在浏览器中显示的网页内容的截图，并根据html形式的网页内容的关键词和/或在浏览器中显示的网页内容的截图检测外站链接是否为合法链接，将检测结果进行反馈并记录在关系型数据库中。