[发明专利]一种网页数据分类方法、装置、设备及存储介质

权利要求书

1.一种网页数据分类模型的训练方法，其特征在于，包括：

对预设数量的HTML数据进行标注，为所述HTML数据添加类别标签，生成HTML数据集；

对所述HTML数据集中的HTML数据进行解析，生成全文路径列表和全文本检索数据；根据所述全文路径列表、所述全文本检索数据和对应的HTML数据建立特征工程，生成训练样本，进而生成训练样本集；

以训练样本作为输入，以类别标签作为输出，对分类器进行训练，生成网页数据分类模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述已标记HTML数据进行解析，生成全文路径列表和全文本检索数据，包括：

对HTML数据进行解析，生成DOM树；将DOM树的路径信息、节点数据和节点扩展属性信息作为路径记录，将每一个路径记录为一个元组，生成全文路径列表；

获取HTML数据对应的HTML文本；将HTML文本进行分词，生成关键字列表，根据所述关键字列表得到关键字和所述关键字的出现频率，生成全文本检索数据。

3.根据权利要求1所述的方法，其特征在于，所述以训练样本作为输入，以对应的类别标签作为输出，对分类器进行训练，生成网页数据分类模型包括：

以训练样本作为输入，以对应的类别标签作为输出，对分类器进行训练，判断网页数据分类模型的输出与对应的分类标签的误差是否小于预设阈值；

若网页数据分类模型的输出与对应的分类标签的误差大于预设阈值，则对分类器的参数进行调整，直到网页数据分类模型的输出与对应的分类标签的误差小于预设阈值，完成对分类器的训练，生成网页数据分类模型。

4.根据权利要求1所述的方法，其特征在于，所述根据所述全文路径列表、所述全文本检索数据和所述HTML数据集中的HTML数据建立特征工程包括：

将所述HTML数据的属性信息的文本、行号、路径、类型、属性值作为特征进行特征工程处理，生成训练样本集。

5.一种基于权利要求1-4任一项所述的网页数据分类模型的网页数据分类检测方法，其特征在于，所述方法包括：

获取待分类检测的网页数据中的HTML数据并解析，生成全文路径列表、全文本检索数据；

根据所述全文路径列表、所述全文本检索数据和所述HTML数据建立特征工程，生成待检测数据；

将所述待检测数据输入所述网页数据分类模型，输出所述待分类检测的网页数据对应的类别；

根据所述待分类检测的网页数据对应的类别确定待分类检测的网页数据的风险等级。

6.一种网页数据分类模型训练装置，其特征在于，所述装置包括：

数据标注模块，用于对预设数量的HTML数据进行标注，为所述HTML数据添加类别标签，生成HTML数据集；

样本集生成模块，用于对所述HTML数据集中的HTML数据进行解析，生成全文路径列表和全文本检索数据；根据所述全文路径列表、所述全文本检索数据和对应的HTML数据建立特征工程，生成训练样本，进而生成训练样本集；

网页数据分类模型生成模块，用于以训练样本作为输入，以类别标签作为输出，对分类器进行训练，生成网页数据分类模型。

7.一种网页数据分类检测装置，其特征在于，所述装置包括：

待检测数据生成模块，用于获取待分类检测的网页数据中的HTML数据并解析，生成全文路径列表、全文本检索数据；根据所述全文路径列表、所述全文本检索数据和所述HTML数据建立特征工程，生成待检测数据；

HTML数据分类模块，用于将所述HTML数据输入所述网页数据分类模型，输出所述待分类检测的网页数据对应的类别；

待检测网页数据风险等级确定模块，用于根据所述待分类检测的网页数据对应的类别确定待分类检测的网页数据的风险等级。