[发明专利]一种支持网页分类的方法和系统

权利要求书

1.一种支持网页分类的方法，其特征在于，包括：

资源获取步骤：

获取动态加载网页的HTML文件和JS文件；

HTML文件特征向量计算步骤：

根据HTML的DOM树计算HTML文件对应的特征向量；

JS文件特征向量计算步骤：

获取JS文件中含属性参数的控制流图，并将控制流图的基本块转换成特征向量，基于基本块的特征向量计算JS文件的特征向量；

网页特征向量计算步骤：

将所得HTML文件特征向量和JS文件特征向量组合，得到该网页的特征向量；

神经网络训练步骤：

将已经打好标签的网页按照上述步骤转换为打好标签网页的特征向量，作为输入对神经网络进行训练；

神经网络识别步骤：

将待检测网页按照上述步骤转换为待检测网页的特征向量，输入训练好的神经网络，获取分类结果。

2.根据权利要求1所述的支持网页分类的方法，其特征在于，所述资源获取步骤的具体步骤包括：

爬取解析步骤：爬取所述动态加载网页的HTML文件，对所述动态加载网页的HTML标签进行解析，获取后缀名为JS的文件以及处于框架标签内的HTML文件及其文件路径；

分类下载步骤：对获取的处于框架标签内的HTML文件认定为嵌入HTML文件，根据其文件路径是否输入源域名，将JS文件划分为源JS文件和嵌入JS文件，并进行下载。

3.根据权利要求1所述的支持网页分类的方法，其特征在于，所述HTML文件特征向量计算步骤的具体步骤包括：

标签识别步骤：对DOM树中的HTML标签进行识别，并转换成标签单元；

标签单元合并步骤：对含相同属性的标签单元进行合并，获取合并的标签单元集；

向量计算步骤：对所述合并的标签单元集，计算相应标签的权重值，根据各标签的权重值构建HTML文件特征向量。

4.根据权利要求1所述的支持网页分类的方法，其特征在于，所述JS文件特征向量计算步骤的具体步骤包括：

文件分析步骤：对所述JS文件各个函数进行分析，获取控制流图；

函数向量计算步骤：根据预设的属性参数特征，将控制流图的基本块转换成固定长度的向量，并计算出函数的向量；

向量计算步骤：对所述函数的向量构建JS文件特征向量。

5.一种支持网页分类的系统，其特征在于，包括：

资源获取模块：获取动态加载网页的HTML文件和JS文件；

HTML文件特征向量计算模块：根据HTML的DOM树计算出HTML文件对应的特征向量；

JS文件特征向量计算模块：获取JS文件的含属性参数的控制流图，将控制流图的基本块转换成特征向量，基于基本块的特征向量计算出JS文件的特征向量；

网页特征向量计算模块：将HTML文件对应的特征向量和JS文件的特征向量进行组合，得到该动态加载网页的特征向量；

神经网络训练模块：将已经打好标签的网页按照上述各特征向量计算模块的计算方式转换为向量，作为输入训练神经网络；

神经网络识别模块：将待检测网页按照以上方式转换为向量，输入已训练好的神经网络，获取分类结果。