[发明专利]一种被黑网站检测方法及系统

摘要

本发明涉及一种被黑网站检测方法及系统，包括(1)获取原始数据；(2)数据清洗；(3)分别抽取出文本检测、图片检测、启发式检测所需的数据；(4)查询文本检测的索引库，返回相似度值S1；(5)采用匈牙利算法计算两个图片之间的emd距离并转化成相似性S2；(6)相似度值S1和相似性S2线性融合；(7)如果融合结果S≥T，则判定该网站没有被黑，标记为0；否则，判定该网站被黑，标记为1；(8)采用决策树模型对待检测网页进行判断，输出结果为0(未被黑)或1(被黑)，如果(7)、(8)至少有一个为1，则表示网页被黑，否则网页正常。本发明采取两种方式检测，根据阈值判断，精确度更高，可及时发现互联网中一些恶意网页或被黑网页。

主权项

一种被黑网站检测方法，其特征在于，包括步骤如下：(1)获取正常网页和被黑网页的URL、完整网页和完整网页的截图，正常网页的URL、完整网页和完整网页的截图即白名单数据集；被黑网页的URL、完整网页和完整网页的截图即黑名单数据集；(2)对步骤(1)获取的数据进行数据清洗，包括网页去重和缺失处理；(3)从步骤(2)处理后的数据中，提取网页的文本、结构和图片纹理特征，构造相应的特征库，分别从特征库中抽取出文本检测、图片检测、启发式检测所需的数据特征；抽取出文本检测所需的数据：从文本特征库中抽取出每个网页的title、ICP以及正文关键字keyword，并构建文本检测的索引库，进入步骤(4)；抽取出图片检测所需的数据：抽取出每个网页的以下6个特征：子图像重心距离比、子图像重心相对整幅完整网页的截图顶点的夹角、子图的信息熵、子图的偏心率、子图的圆形性、子图的Hu矩；完整网页经过切割后形成的子图，子图像重心距离比是指：子图与整幅图像重心间距离与整幅图像对角线长度的比值；子图像重心相对整幅完整网页的截图顶点的夹角是指：子图的重心(x，y)和整幅完整网页的截图顶点连成的直线与Y轴的夹角；其中的坐标表示从网页截图的左上角为原点，水平向左为X轴，竖直向下为Y轴的坐标；整幅完整网页的截图顶点即原点；子图的圆形性是指：子图重心到边界集合距离的平均值；子图的Hu矩包括子图像的二阶、三阶中心矩；进入步骤(5)；抽取出启发式检测所需的数据：抽取出每个网页的以下15个特征：URL中是否含有IP、URL中是否含有@，？，‑，—，～、判断URL中.的个数、URL总长度、URL的最长的数字串长度、判断URL中是否包含敏感词汇、判断URL的路径中是否包含敏感词汇、div数量、网页中的链接总数、内链个数、外链个数、空链个数、form中get/post方法的特征、form的Action特征和form的INPUT特征，建立启发式检测的本地特征库；进入步骤(7)；(4)查询文本检测的索引库，返回相似URL及两个网页的相似度值S1；(5)从整个网页截图的部分子图的6个特征，加上子图的位置大小信息包括子图距网页左边沿的距离、子图距网页上边沿的距离、子图的高、子图的宽，以及图片类型一共11个特征构成特征向量，采用匈牙利算法计算两个图片之间的emd距离并转化成相似性S2；(6)将步骤(4)得到的两个网页的相似度值S1和步骤(5)得到的两个图片的相似性S2进行线性融合得到相似度值S，如果S≥T，则说明网页没有被黑，标记为0，否则网页被黑了，标记为1，距离过滤阈值T∈[0.3，0.6]；(7)提取网页的15维启发式特征，针对正常的网页和被黑网页，使用决策树算法实现被黑网页的检测，若预测结果是0，表示正常；预测结果是1，表示被黑；(8)统计(6)和(7)的预测结果，如果两个步骤的预测结果至少有一个为1，则表示网页被黑，否则网页正常，并将预测的结果通过界面呈现。