[发明专利]页面类别识别方法及装置、用于页面类别识别的装置

权利要求书

1.一种页面类别的识别方法，其特征在于，所述方法包括：

从待识别页面中提取文本数据，构成待识别数据集；

获取所述待识别数据集包含的多个隐含主题，以及各隐含主题的概率；所述隐含主题的概率是指所述待识别数据集中的文本数据属于所述隐含主题的概率；

获取所述多个隐含主题中属于特定类别隐含主题的概率，构成所述待识别页面的主题分布特征；

判断所述多个隐含主题中概率最高的隐含主题是否属于特定类别，并依据判断结果生成所述待识别页面的特定类别判断特征；

获取所述待识别数据集中每个词汇的正概率和负概率，并根据所述待识别数据集中所有词汇的正概率和负概率，得到所述待识别页面的特定类别比例特征；所述正概率是指词汇在预设训练样本集包括的特定类别页面中的出现概率，所述负概率是指词汇在预设训练样本集包括的非特定类别页面中的出现概率；

依据所述待识别页面的主题分布特征、特定类别判断特征和特定类别比例特征构成所述待识别页面的特征向量；

基于预设的分类器对所述待识别页面的特征向量进行识别，确定所述待识别页面是否属于特定类别页面。

2.根据权利要求1所述的方法，其特征在于，所述依据判断结果生成所述待识别页面的特定类别判断特征，包括：

如果所述概率最高的隐含主题属于所述特定类别，则确定所述特定类别判断特征为第一预设特征；所述第一预设特征用于表征所述待识别页面属于所述特定类别的可能性较高；

如果所述概率最高的隐含主题不属于所述特定类别，则确定所述特定类别判断特征为第二预设特征；所述第二预设特征用于表征所述待识别页面不属于所述特定类别的可能性较高。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待识别数据集中所有词汇的正概率和负概率，得到所述待识别页面的特定类别比例特征，包括：

对所述待识别数据集中所有词汇的正概率的乘积求取对数，得到第一对数估计值；

对所述待识别数据集中所有词汇的负概率的乘积求取对数，得到第二对数估计值；

计算所述第一对数估计值与所述第二对数估计值的差值，得到第一数值；

计算所述第一对数估计值与所述第二对数估计值的和值，得到第二数值；

计算所述第一数值与所述第二数值的比值，作为所述待识别数据集的特定类别比例特征。

4.根据权利要求1所述的方法，其特征在于，所述从待识别页面中提取文本数据，构成待识别数据集，包括：

从所述待识别页面中除major标签以外的标签中提取文本数据，构成所述待识别数据集。

5.根据权利要求1所述的方法，其特征在于，所述基于预设的分类器对所述待识别页面的特征向量进行识别，确定所述待识别页面是否属于特定类别页面，包括：

基于所述分类器，对所述待识别页面的特征向量进行识别，得到所述待识别页面的类别标识；

如果所述类别标识为第一类别标识，则确定所述待识别页面为所述特定类别页面；

如果所述类别标识为第二类别标识，则确定所述待识别页面不是所述特定类别页面。