[发明专利]一种完整网站源码获取方法及非法网站检测方法、系统

权利要求书

1.一种完整网站源码获取方法，其步骤包括：

1)对于每一目标网站，使用PhantomJS来动态加载该目标网站的JavaScript代码，获取执行完JavaScript之后的html代码；

2)从该html代码中获取发起请求的标签中的URL，获取该URL的html代码并将其添加至该目标网站的完整源码的对应位置；

3)递归步骤2)的处理，得到该目标网站的最终的完整源码。

2.如权利要求1所述的方法，其特征在于，所述发起请求的标签为<iframe>标签。

3.如权利要求1或2所述的方法，其特征在于，所述步骤2)中，设置一超时机制，如果设定时间内未收到当前URL的响应，则停止对该URL的访问请求。

4.一种非法网站检测方法，其步骤包括：

获取待识别网站的完整源码；根据非法网站识别模型中的文本特征文件，从该待识别网站的完整源码中提取相对应的特征作为该待识别网站的完整源码的特征，将该完整源码的特征的特征值设置为所述文本特征文件中对应特征的特征值；提取该待识别网站的完整源码的非文本的统计特征；

将该待识别网站的完整源码特征及其特征值、非文本的统计特征输入该非法网站识别模型，判定该待识别网站是否为非法网站；

其中，所述非法网站识别模型的生成方法为：获取样本网站集合中的每一网站的完整源码，得到完整源码集合；提取该完整源码集合中每一个完整源码的文本特征，得到该完整源码的文本特征集合；提取每一完整源码的非文本的统计特征；对各文本特征集合中的特征进行合并并计算每一特征的平均特征值，得到文本特征文件；

基于该样本网站集合中各网站对应的完整源码的文本特征集合、非文本的统计特征和机器学习算法，生成非法网站识别模型。

5.如权利要4所述的方法，其特征在于，得到所述文本特征文件的方法为：对该完整源码中的中文信息进行分词并计算每一分词的TF-IDF值；然后基于分词的信息增益值，选取多个分词作为该完整源码的特征，然后将选取的特征及其对应的TF-IDF值作为该完整源码的文本特征集合；将各文本特征集合中的特征进行合并并根据同一特征在不同文本特征集合中的TF-IDF值计算该特征的平均TF-IDF值，根据合并后的特征及其平均TF-IDF值生成所述文本特征文件。

6.如权利要4所述的方法，其特征在于，所述统计特征包括该完整源码的&lt;iframe&gt;标签数量、<title>标签的平均长度、URL的数量、<div>标签的数量、<ul>的数量、&符号的数量。

7.如权利要求4所述的方法，其特征在于，所述机器学习算法为随机森林算法。

8.一种非法网站检测系统，其特征在于，包括完整源码提取模块、特征提取模块和非法网站识别模型；其中，

所述完整源码提取模块，用于提取网站的完整源码；所述网站包括待识别网站和样本网站集合中的每一网站；所述样本网站集合包括多个非法网站和多个合法网站；

所述特征提取模块，用于提取完整源码的文本特征，得到该完整源码的文本特征集合；以及提取该完整源码的非文本的统计特征；对各文本特征集合中的特征进行合并并计算每一特征的平均特征值，得到文本特征文件；

所述非法网站识别模型，用于根据待识别网站的完整源码特征及其特征值、非文本的统计特征，判定该待识别网站是否为非法网站；

其中，基于样本网站集合中各网站对应的完整源码的文本特征集合、非文本的统计特征和机器学习算法，生成所述非法网站识别模型。

9.如权利要求8所述的系统，其特征在于，所述特征提取模块对该完整源码中的中文信息进行分词并计算每一分词的TF-IDF值；然后基于分词的信息增益值，选取多个分词作为该完整源码的特征，然后将选取的特征及其对应的TF-IDF值作为该完整源码的文本特征集合；将各文本特征集合中的特征进行合并并根据同一特征在不同文本特征集合中的TF-IDF值计算该特征的平均TF-IDF值，根据合并后的特征及其平均TF-IDF值生成所述文本特征文件。

10.如权利要求8所述的系统，其特征在于，所述统计特征包括该完整源码的&lt;iframe&gt;标签数量、<title>标签的平均长度、URL的数量、<div>标签的数量、<ul>的数量、&符号的数量。