[发明专利]蜘蛛池网站的识别方法、装置、电子装置和存储介质在审
| 申请号: | 202110647965.X | 申请日: | 2021-06-10 |
| 公开(公告)号: | CN113407802A | 公开(公告)日: | 2021-09-17 |
| 发明(设计)人: | 汪磊;范渊;杨勃 | 申请(专利权)人: | 杭州安恒信息技术股份有限公司 |
| 主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/955 |
| 代理公司: | 杭州华进联浙知识产权代理有限公司 33250 | 代理人: | 金无量 |
| 地址: | 310051 浙江省*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 蜘蛛 网站 识别 方法 装置 电子 存储 介质 | ||
1.一种蜘蛛池网站的识别方法,其特征在于,包括:
获取待识别网站的源码;
提取所述源码中的页面信息,其中,所述页面信息包括以下至少之一:页面主题信息、页面标签信息;
从预设蜘蛛池中匹配与所述页面信息相对应的目标页面信息;
在从所述预设蜘蛛池中匹配到与所述页面信息相对应的目标页面信息的情况下,将所述待识别网站分类为蜘蛛池网站。
2.根据权利要求1所述的蜘蛛池网站的识别方法,其特征在于,所述方法还包括:
在从所述预设蜘蛛池中未匹配到与所述页面信息相对应的页面信息的情况下,提取所述源码中的页面外链信息和全部页面链接信息;
判断所述页面外链信息与所述全部页面链接信息的匹配度是否达到预设匹配度;
在判断到所述页面外链信息与所述全部页面链接信息的匹配度达到预设匹配度的情况下,将所述待识别网站分类为蜘蛛池网站。
3.根据权利要求2所述的蜘蛛池网站的识别方法,其特征在于,在提取所述源码中的页面外链信息和全部页面链接信息之前,所述方法还包括:
获取所述源码的锚链接;
判断所述锚链接的主域名是否为所述待识别网站的主域名;
在判断所述锚链接的主域名不为所述待识别网站的主域名的情况下,判定所述锚链接为外链链接,并提取所述源码中的页面外链信息和全部页面链接信息。
4.根据权利要求3所述的蜘蛛池网站的识别方法,其特征在于,所述页面外链信息包括:外链锚文本、外链页面信息、外链主机信息。
5.根据权利要求4所述的蜘蛛池网站的识别方法,其特征在于,在判断所述页面外链信息与所述全部页面链接信息的匹配度是否达到预设匹配度之前,所述方法还包括:
根据所述外链主机信息,确定主机的IP归属地信息和外链网站备案信息;
基于所述IP归属地信息,获取境外与所述IP归属地信息对应的第一外链列表信息;
基于所述外链网站备案信息,获取所述外链网站备案信息为空的第二外链列表信息;
确定所述外链锚文本与所述外链页面信息不相同的第三外链列表信息;
取所述第一外链列表信息、所述第二外链列表信息和所述第三外链列表信息的并集,得到目标外链列表信息;
基于所述目标外链列表信息,判断所述目标外链列表信息与所述全部页面链接信息的匹配度是否达到所述预设匹配度。
6.根据权利要求2所述的蜘蛛池网站的识别方法,其特征在于,所述方法还包括:
在判断到所述页面外链信息与所述全部页面链接信息的匹配度未达到预设匹配度的情况下,将所述待识别网站分类为正常网站。
7.根据权利要求1所述的蜘蛛池网站的识别方法,其特征在于,提取所述源码中的页面信息包括:
通过预设的页面解析器提取所述源码中的页面信息。
8.一种蜘蛛池网站的识别装置,其特征在于,包括:
第一获取模块,用于获取待识别网站的源码;
第一提取模块,用于提取所述源码中的页面信息,其中,所述页面信息包括以下至少之一:页面主题信息、页面标签信息;
第一匹配模块,用于从预设蜘蛛池中匹配与所述页面信息相对应的目标页面信息;
第一分类模块,用于在从所述预设蜘蛛池中匹配到与所述页面信息相对应的目标页面信息的情况下,将所述待识别网站分类为蜘蛛池网站。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的蜘蛛池网站的识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的蜘蛛池网站的识别方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州安恒信息技术股份有限公司,未经杭州安恒信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110647965.X/1.html,转载请声明来源钻瓜专利网。





