[发明专利]一种网页主题的标注方法和装置

说明书

本发明公开了一种网页主题的标注方法和装置。所述方法包括：基于网页的标题和正文，获得所述网页的主题特征向量；利用预先训练获得的分类器，对所述主题特征向量进行分类处理；判断是否存在所述主题特征向量所属的类型；若是，则将所述网页标注为所述主题特征向量所属的类型；若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行聚类处理；分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型。本发明采用有监督的分类方法和无监督的聚类方法级联的方式，自动的从网页中获取主题并标注网页，有效提高了网页主题标注的效率和准确性。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种网页主题的标注方法和装置。

背景技术

通过分析互联网网页内容，来提取并标注网页主题是互联网数据管理和挖掘等应用的重要基础。目前，网页主题标注多采用关键词匹配方法，通过将网页标题和部分预设关键词进行匹配实现网页的标注。但是，这种直接匹配的做法过于简单，而且，如果网页标题中的关键词发生变化，则该方法将无法准确标注主题，网页标准的准确率将无法保证。另一种网页主题标注是采用聚类的方法，对网页进行聚类，从聚为一类的网页中提取关键词作为这一类网页的标注。但是，由于聚类算法较为耗时，当待标注的网页数量较多时，这类算法的实用性较差，而且仅使用无监督学习算法的网页标注准确率不高。

发明内容

本发明提供一种网页主题的标注方法和装置，用以解决现有技术中网页主题标注准确率低的问题。

基于上述技术问题，本发明是通过以下技术方案来解决的。

本发明提供了一种网页主题的标注方法，包括：基于网页的标题和正文，获得所述网页的主题特征向量；利用预先训练获得的分类器，对所述主题特征向量进行分类处理；判断是否存在所述主题特征向量所属的类型；若是，则将所述网页标注为所述主题特征向量所属的类型；若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行聚类处理；分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型。

其中，基于网页的标题和正文，获得所述网页的主题特征向量，包括：分别提取网页中的标题和正文；根据所述标题，构建标题特征向量；根据所述正文，构建正文特征向量；将所述标题特征向量和所述正文特征向量拼接为所述主题特征向量。

其中，根据所述标题构建网页标题特征向量，包括：利用预先构建的标题词典，对所述标题进行分词处理，获得标题分词；将所述标题分词映射到所述标题词典中；基于所述标题分词的加权值，对所述标题词典进行加权处理，构建出所述网页的标题特征向量。

其中，根据所述正文构建网页正文特征向量，包括：利用预先构建的正文词典，对所述正文进行分词处理，获得多个正文分词，并记录每个所述正文分词在所述正文中的出现顺序；将多个所述正文分词分别映射到所述正文词典中；基于每个正文分词的加权值和出现顺序，对所述正文词典进行加权处理，构建所述网页的正文特征向量。

其中，利用预先训练获得的分类器，对所述主题特征向量进行分类处理，包括：预先定义多种网页类型；所述分类器针对每种类型，对所述网页的主题特征向量进行一次评分；将每种类型的对应的评分分值分别与预设的标注阈值进行比较；将大于所述标注阈值的评分分值对应的类型，判定为所述主题特征向量所属的类型；其中，所述主题特征向量所属的类型为一个或多个。

其中，分析聚类集合的类型，包括：分别提取聚类集合中每个待标注网页的标题和正文；利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词；利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词；在多个所述标题分词和多个所述正文分词中，获取出现频率最多的分词，以作为所述聚类集合的类型。