[发明专利]基于网页关键内容相似性分析的钓鱼网站发现方法及系统

摘要

本发明公开了一种基于网页关键内容相似性分析的钓鱼网站发现方法和系统，属于计算机网络安全领域。本方法包括网页关键内容特征提取、网页关键内容特征聚类和网页关键内容相似性计算。相应提供的系统包括网页主题分类器、关键内容提取器、特征抽取及聚合模块、相似度计算引擎和样本特征管理模块。通过网页主题分类器聚焦可疑的URL，防止不必要的特征过拟合，然后对待分析网页进一步通过关键内容提取器和相似度计算引擎来获得判断结果。本发明应用在网络关口URL检测，每个URL网页的检测时间为微秒级，正确率在97.5％以上，可实现快速、准确、稳定的钓鱼网站检测。

主权项

1.一种基于网页关键内容相似性分析的钓鱼网站发现方法，其特征在于，包括网页关键内容特征学习和网页关键内容相似性计算；其中，网页关键内容特征学习包括网页关键内容特征提取和网页关键内容特征聚类；所述的网页关键内容特征提取将每个钓鱼网站网页映射为一个二元组，包括：步骤1.1，根据仿冒的目标对象，对带标签label的钓鱼网站URL进行分类；对每类都执行下面步骤1.2～1.7；label用于标记网页所仿冒的目标对象类型；步骤1.2，下载各URL对应的web页面源码，并将其转换为预设的字符码；步骤1.3，根据URL的页面代码构建网页的文档对象模型树，提取标签下的文本，在提取时去除非打印字符和标点符号，只保留数字、字母和中文字符；步骤1.4，对提取的文本，按照2～8字符的长度进行关键词提取，为每个页面形成一个词向量；每个页面的词向量中的词唯一，没有重复；步骤1.5，将词向量规范化，删除词向量中的具体时间词、指标的具体度量值、干扰词、广告和第三方的链接词；步骤1.6，对词向量进行simhash运算，每个词向量对应生成一个39位的数字串；步骤1.7，对每一个URL网页的内容，映射成一个二元组对；simhash为由步骤1.6计算得到的网页对应的词向量的simhash值，label为网页的标签；所述的网页关键内容特征聚类将每类钓鱼网站的simhash值依据海明距离进行聚类，对每一类钓鱼网站计算获取一组特征属性值；所述的网页关键内容相似性根据每类钓鱼网站的特征属性值，对待比较的URL进行相似性计算，来判断待比较的URL是否为钓鱼网站。