[发明专利]蜘蛛池网站的识别方法、装置、电子装置和存储介质

说明书

本申请涉及一种蜘蛛池网站的识别方法、装置、电子装置和存储介质。其中，该蜘蛛池网站的识别方法包括：获取待识别网站的源码；提取源码中的页面信息，其中，页面信息包括以下至少之一：页面主题信息、页面标签信息；从预设蜘蛛池中匹配与页面信息相对应的目标页面信息；在从预设蜘蛛池中匹配到与页面信息相对应的目标页面信息的情况下，将待识别网站分类为蜘蛛池网站。通过本申请，解决了相关技术中存在监测对蜘蛛池网站中的其他网站进行检测造成资源浪费的问题，减少了监测系统对蜘蛛池网站中的其他网站进行检测的资源浪费。

技术领域

本申请涉及网站识别领域，特别是涉及一种蜘蛛池网站的识别方法、装置、电子装置和存储介质。

背景技术

在互联网蓬勃发展的今天，搜索引擎优化(Search Engine Optimization，简写为SEO)是一个很普通的行业，为了提升网站的SEO排名，很多黑客利用黑帽SEO技术制造大量垃圾网站(类似蜘蛛池)，这些垃圾网站包含许多违规且无意义内容等，在互联网中传播造成不良影响，在云监测系统中无意义蜘蛛池存在大量无效资产，对监测系统造成资源浪费。

针对相关技术中存在监测系统对蜘蛛池网站中的其他网站进行检测造成资源浪费的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种涉及蜘蛛池网站的识别方法、装置、电子装置和存储介质，以解决相关技术中对蜘蛛池网站中的其他网站进行检测造成资源浪费的问题。

第一个方面，在本实施例中提供了一种蜘蛛池网站的识别方法，包括：

获取待识别网站的源码；

提取所述源码中的页面信息，其中，所述页面信息包括以下至少之一：页面主题信息、页面标签信息；

从预设蜘蛛池中匹配与所述页面信息相对应的目标页面信息；

在从所述预设蜘蛛池中匹配到与所述页面信息相对应的目标页面信息的情况下，将所述待识别网站分类为蜘蛛池网站。

在其中一些实施例中，所述方法还包括：

在从所述预设蜘蛛池中未匹配到与所述页面信息相对应的页面信息的情况下，提取所述源码中的页面外链信息和全部页面链接信息；

判断所述页面外链信息与所述全部页面链接信息的匹配度是否达到预设匹配度；

在判断到所述页面外链信息与所述全部页面链接信息的匹配度达到预设匹配度的情况下，将所述待识别网站分类为蜘蛛池网站。

在其中一些实施例中，在提取所述源码中的页面外链信息和全部页面链接信息之前，所述方法还包括：

获取所述源码的锚链接；

判断所述锚链接的主域名是否为所述待识别网站的主域名；

在判断所述锚链接的主域名不为所述待识别网站的主域名的情况下，判定所述锚链接为外链链接，并提取所述源码中的页面外链信息和全部页面链接信息。

在其中一些实施例中，所述页面外链信息包括：外链锚文本、外链页面信息、外链主机信息。

在其中一些实施例中，在判断所述页面外链信息与所述全部页面链接信息的匹配度是否达到预设匹配度之前，所述方法还包括：

根据所述外链主机信息，确定主机的IP归属地信息和外链网站备案信息；

基于所述IP归属地信息，获取境外与所述IP归属地信息对应的第一外链列表信息；

基于所述外链网站备案信息，获取所述外链网站备案信息为空的第二外链列表信息；

确定所述外链锚文本与所述外链页面信息不相同的第三外链列表信息；