[发明专利]用于对网页数据进行分类的分类模型的训练方法及装置

权利要求书

1.一种用于对网页数据进行分类的分类模型的训练方法，其中，所述方法包括：

从网页中对应不同路径的网页数据中获取训练样本数据，所述训练样本数据包括网页数据的网页内容和路径信息；

获取关于所述训练样本数据的真实分类结果的分类标签；

至少基于网页内容和路径信息来生成所述训练样本数据的特征；以及

基于由所述训练样本数据的特征以及训练样本数据的分类标签组成的训练样本，通过预设机器学习算法，训练用于对网页数据进行分类的分类模型。

2.如权利要求1所述的方法，其中，所述至少基于网页内容和路径信息来生成所述训练样本数据的特征，包括：基于网页内容生成训练样本数据的内容特征，并基于路径信息生成训练样本的结构特征。

3.如权利要求2所述的方法，其中，所述至少基于网页内容和路径信息来生成所述训练样本数据的特征，还包括：

基于所述训练样本数据的路径信息与预设标准路径之间的差异来生成训练样本的路径相似度特征，所述预设标准路径对应所述网页数据所属网站中特定网页数据的路径。

4.如权利要求1所述的方法，其中，所述从网页中对应不同路径的网页数据中获取训练样本数据包括：

在各个网页中，分别通过遍历全部路径的网页数据来分别获取对应网页数据的网页内容和路径信息，作为所述训练样本数据。

5.如权利要求4所述的方法，其中，

所述基于网页内容生成的内容特征包括以下项之中的至少一项：所述网页内容是否为中文、所述网页内容是否包含中文标点、所述网页内容的长度、所述网页内容是否包含特定关键词、所述网页内容包含的内容数量；

并且/或者，所述基于路径信息生成的结构特征包括以下项之中的至少一项：路径层数、路径层标识中是否存在目标标识以及目标标识的路径层中是否包含预设关键字。

6.一种基于分类模型对网页数据进行分类的方法，其中，所述分类模型如权利要求1-5中任一项所述的分类模型，包括：

从待预测网页数据中获取预测样本数据，所述预测样本数据包括待预测网页数据的网页内容和路径信息；

至少基于网页内容和路径信息，按照分类模型的训练样本数据的特征生成方式来生成所述预测样本数据的特征；以及

利用所述分类模型，基于由所述预测样本数据的特征组成的预测样本，提供对待预测网页数据进行分类的预测结果。

7.一种用于对网页数据进行分类的分类模型的训练装置，其中，所述装置包括：

第一获取单元，用于从网页中对应不同路径的网页数据中获取训练样本数据，所述训练样本数据包括网页数据的网页内容和路径信息；

第二获取单元，用于获取关于所述训练样本数据的真实分类结果的分类标签；

生成单元，用于至少基于网页内容和路径信息来生成所述训练样本数据的特征；以及

训练单元，用于基于由所述训练样本数据的特征以及训练样本数据的分类标签组成的训练样本，通过预设机器学习算法，训练用于对网页数据进行分类的分类模型。

8.一种基于分类模型对网页数据进行分类的装置，其中，所述分类模型如权利要求1-5中任一项所述的分类模型，包括：

获取单元，用于从待预测网页数据中获取预测样本数据，所述预测样本数据包括待预测网页数据的网页内容和路径信息；

生成单元，用于至少基于网页内容和路径信息，按照分类模型的训练样本数据的特征生成方式来生成所述预测样本数据的特征；以及

预测单元，用于利用所述分类模型，基于由所述预测样本数据的特征组成的预测样本，提供对待预测网页数据进行分类的预测结果。

9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到6中的任一权利要求所述的方法。

10.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到6中的任一权利要求所述的方法。