[发明专利]一种网页主题的标注方法和装置

权利要求书

1.一种网页主题的标注方法，其特征在于，包括：

分别提取网页中的标题和正文；

根据所述标题，构建标题特征向量；

根据所述正文，构建正文特征向量；

将所述标题特征向量和所述正文特征向量采用加权的方式拼接为主题特征向量；

利用预先训练获得的分类器，对所述主题特征向量进行分类处理；

判断是否存在所述主题特征向量所属的类型；

若是，则将所述网页标注为所述主题特征向量所属的类型；

若否，则将所述网页标记为待标注网页；进一步地，对多个待标注网页进行聚类处理；分析出每个聚类集合的类型；将待标注网页标注为其所属的聚类集合的类型；

分析聚类集合的类型，包括：

分别提取聚类集合中每个待标注网页的标题和正文；

利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词；

利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词；

在多个所述标题分词和多个所述正文分词中，获取出现频率最多的分词，以作为所述聚类集合的类型。

2.如权利要求1所述的方法，其特征在于，根据所述标题构建网页标题特征向量，包括：

利用预先构建的标题词典，对所述标题进行分词处理，获得标题分词；

将所述标题分词映射到所述标题词典中；

基于所述标题分词的加权值，对所述标题词典进行加权处理，构建出所述网页的标题特征向量。

3.如权利要求1所述的方法，其特征在于，根据所述正文构建网页正文特征向量，包括：

利用预先构建的正文词典，对所述正文进行分词处理，获得多个正文分词，并记录每个所述正文分词在所述正文中的出现顺序；

将多个所述正文分词分别映射到所述正文词典中；

基于每个正文分词的加权值和出现顺序，对所述正文词典进行加权处理，构建所述网页的正文特征向量。

4.如权利要求1所述的方法，其特征在于，利用预先训练获得的分类器，对所述主题特征向量进行分类处理，包括：

预先定义多种网页类型；

所述分类器针对每种类型，对所述网页的主题特征向量进行一次评分；

将每种类型的对应的评分分值分别与预设的标注阈值进行比较；

将大于所述标注阈值的评分分值对应的类型，判定为所述主题特征向量所属的类型；其中，所述主题特征向量所属的类型为一个或多个。

5.一种网页主题的标注装置，其特征在于，包括：

获得模块，用于基于网页的标题和正文，获得所述网页的主题特征向量；

所述获得模块包括：

提取单元，用于分别提取网页中的标题和正文；

第一构建单元，用于根据所述标题，构建标题特征向量；

第二构建单元，用于根据所述正文，构建正文特征向量；

拼接单元，用于将所述标题特征向量和所述正文特征向量采用加权的方式拼接为所述主题特征向量；

分类模块，用于利用预先训练获得的分类器，对所述主题特征向量进行分类处理；

判断模块，用于判断是否存在所述主题特征向量所属的类型；

标注模块，用于在所述判断模块判定存在所述主题特征向量所属的类型的情况下，将所述网页标注为所述主题特征向量所属的类型；

标记模块，用于在所述判断模块判定不存在所述主题特征向量所属的类型的情况下，将所述网页标记为待标注网页；

聚类模块，用于对多个待标注网页进行聚类处理；

分析模块，用于分析出每个聚类集合的类型；

所述标注模块，还用于将待标注网页标注为其所属的聚类集合的类型；

分析模块具体用于：

分别提取聚类集合中每个待标注网页的标题和正文；

利用预先构建的标题词典，对所有标题进行分词处理，获得多个标题分词；

利用预先构建的正文词典，对所有正文进行分词处理，获得多个正文分词；

在多个所述标题分词和多个所述正文分词中，获取出现频率最多的分词，以作为所述聚类集合的类型。