[发明专利]网页暗链检测方法、装置及计算机可读存储介质

说明书

本发明公开了一种网页暗链检测方法，包括：获取预设网页分类模型的训练集；获取待检测网页的文本特征向量和训练集中的网页的文本特征向量；基于邻近算法从训练集中选取若干个与待检测网页的文本特征向量符合预设相似条件的网页的文本特征向量，作为待检测网页的文本特征向量的邻近向量，并根据网页分类模型确定邻近向量对应的网页类型，作为待检测网页的候选网页类型；分别计算待检测网页属于每个候选网页类型的概率；判断概率最大值对应的候选网页类型属于正例样本还是负例样本，若属于负例样本，则判定待检测网页中含有暗链。本发明还公开了一种网页暗链检测装置和一种计算机可读存储介质。本发明能够提高网页暗链检测的准确率。

技术领域

本发明涉及网络技术领域，尤其涉及网页暗链检测方法、装置及计算机可读存储介质。

背景技术

暗链，又称“黑链”、“隐链”，是指看不见但可以被搜索引擎识别并计算权重的外链，入侵者通过非法技术在网页中植入暗链，能够达到提高暗链所指网站的搜索引擎排名并从中盈利的目的，暗链的植入不仅影响了网站的正常运行，而且向公众传播了大量非法信息，危害巨大。目前网页暗链检测主要有以下两种方法：

1)基于规则的暗链检测：利用隐藏技术的识别并结合特征黑名单来判定网页是否被植入暗链。这种方法对于暗链的某些隐藏方式识别较弱，同时也会由于黑名单关键字本身的限制而导致漏报、误报。

2)基于二分类机器学习的暗链检测：收集真实的网页源码数据形成包含暗链和不包含暗链的两类数据的训练集，通过对检测页面的网页源码中的文本进行特征选择处理，然后结合训练集进行二分判定。这种方法对样本数据的分类过于粗糙，噪声影响较大，容易出现误报。例如，网络中存在一类医疗类别的暗链植入，这些链接的锚文本大多数为“牛皮癣”等医学术语，对于正例样本，医疗类网站应该会包含这类词汇，而对于负例样本，很多已探测的暗链也是医疗类别暗链植入，此时二分类的技术容易造成误判。此外，这种方法忽略了暗链的隐藏特性，很容易将一些明链(如“友情链接”)判定为暗链，造成误报。

发明内容

本发明的主要目的在于提出一种网页暗链检测方法、装置及计算机可读存储介质，旨在提高网页暗链检测的准确率。

为实现上述目的，本发明提供一种网页暗链检测方法，所述方法包括如下步骤：

获取预设网页分类模型的训练集，所述训练集中的网页根据所述网页分类模型被划分为表示不含有暗链的正例样本和表示含有暗链的负例样本，且所述正例样本和所述负例样本分别被划分为若干网页类型；

获取待检测网页的文本特征向量和所述训练集中的网页的文本特征向量；

基于邻近算法从所述训练集中选取若干个与所述待检测网页的文本特征向量符合预设相似条件的网页的文本特征向量，作为所述待检测网页的文本特征向量的邻近向量，并根据所述网页分类模型确定所述邻近向量对应的网页类型，作为所述待检测网页的候选网页类型；

分别计算所述待检测网页属于每个候选网页类型的概率；

判断概率最大值对应的候选网页类型属于所述正例样本还是所述负例样本，若属于所述负例样本，则判定所述待检测网页中含有暗链。

优选地，所述获取待检测网页的文本特征向量和所述训练集中的网页的文本特征向量的步骤包括：

获取待检测网页的文本特征集和所述训练集中的网页的文本特征集，其中，所述待检测网页的文本特征集和所述训练集中的网页的文本特征集包含相同的关键词；

根据所述关键词在所述待检测网页的文本特征集中的词频和权重进行计算，得到所述待检测网页的文本特征向量；

根据所述关键词在所述训练集中的网页的文本特征集中的词频和权重进行计算，得到所述训练集中的网页的文本特征向量。

优选地，所述获取待检测网页的文本特征集和所述训练集中的网页的文本特征集的步骤包括：