[发明专利]页面类别识别方法及装置、用于页面类别识别的装置

摘要

本发明公开了一种页面类别的识别方法及装置、用于页面类别识别的装置，属于互联网技术领域。方法包括：从待识别页面中提取文本数据构成待识别数据集；获取待识别数据集包含的多个隐含主题以及对应的概率；获取属于特定类别隐含主题的概率，构成主题分布特征；依据概率最高的隐含主题是否属于特定类别生成特定类别判断特征；依据待识别数据集中每个词汇的正概率和负概率，得到特定类别比例特征；依据主题分布特征、特定类别判断特征和特定类别比例特征构成特征向量；基于预设的分类器对特征向量进行识别；本发明通过在训练过程中引入样本数据集对应的各隐含主题的概率和词汇的正概率和负概率等语义特征，提高了分类器的精确度，提高了识别精确度。

主权项

一种页面类别的识别方法，其特征在于，所述方法包括：从待识别页面中提取文本数据，构成待识别数据集；获取所述待识别数据集包含的多个隐含主题，以及各隐含主题的概率；所述隐含主题的概率是指所述待识别数据集中的文本数据属于所述隐含主题的概率；获取所述多个隐含主题中属于特定类别隐含主题的概率，构成所述待识别页面的主题分布特征；判断所述多个隐含主题中概率最高的隐含主题是否属于特定类别，并依据判断结果生成所述待识别页面的特定类别判断特征；获取所述待识别数据集中每个词汇的正概率和负概率，并根据所述待识别数据集中所有词汇的正概率和负概率，得到所述待识别页面的特定类别比例特征；所述正概率是指词汇在预设训练样本集包括的特定类别页面中的出现概率，所述负概率是指词汇在预设训练样本集包括的非特定类别页面中的出现概率；依据所述待识别页面的主题分布特征、特定类别判断特征和特定类别比例特征构成所述待识别页面的特征向量；基于预设的分类器对所述待识别页面的特征向量进行识别，确定所述待识别页面是否属于特定类别页面。