[发明专利]一种网页特征提取方法和装置

权利要求书

1.一种网页特征提取方法，其特征在于，所述方法包括：

获取目标网页，根据网页信息的位置架构将所述目标网页分为多个文档部分；

分别对所述多个文档部分进行分词处理，对分词处理结果进行统计，获得与所述多个文档部分对应的多个集合，其中，每一个文档部分对应一个集合，所述多个集合中的每一个集合包括至少一个数据对，每一个数据对包括：特征词和与所述特征词对应的次数；

根据第一集合中与所述特征词对应的次数确定基础位置权重值，所述第一集合为所述多个集合中数据对最多的集合；

根据所述基础位置权重值、预设权重比例值和所述多个集合中除所述第一集合外的所有集合，确定所述多个集合中除所述第一集合外的所有集合的权重值，以对目标网页中每个位置所占的权重予以区分；

将所述多个集合和所述多个集合中除所述第一集合外的所有集合的权重值进行整合处理，获得所述目标网页的特征向量，以使得根据所述特征向量对网页进行特征分析。

2.根据权利要求1所述的方法，其特征在于，所述根据网页信息的位置架构将目标网页分为多个文档部分，包括：

根据网页信息的位置架构将所述目标网页分为标题、关键词、正文三个文档部分。

3.根据权利要求2所述的方法，其特征在于，所述分别对所述多个文档部分进行分词处理，对分词处理结果进行统计，获得与所述多个文档部分对应的多个集合，包括：

对标题文档部分进行分词处理，将分词处理结果进行同义词合并处理获得第一特征词，统计与所述第一特征词对应的次数，将所述第一特征词和与所述第一特征词对应的次数以数据对的格式存储在与标题文档部分对应的第二集合，所述第一特征词包括至少一个特征词；

对关键词文档部分进行分词处理，将分词处理结果进行同义词合并处理获得第二特征词，统计与所述第二特征词对应的次数，将所述第二特征词和与所述第二特征词对应的次数以数据对的格式存储在与关键词文档部分对应的第三集合，所述第二特征词包括至少一个特征词；

对正文文档部分进行分词处理，将分词处理结果进行同义词合并处理获得第三特征词，统计与所述第三特征词对应的次数，将所述第三特征词和所述第三特征词对应的次数以数据对的格式存储在与正文文档部分对应的第一集合，所述第三特征词包括至少一个特征词。

4.根据权利要求1或3所述的方法，其特征在于，所述根据第一集合中与所述特征词对应的次数确定基础位置权重值，包括：

确定所述第一集合中所有特征词对应的次数中最大次数值为所述基础位置权重值。

5.根据权利要求3所述的方法，其特征在于，所述根据所述基础位置权重值、预设权重比例值和所述多个集合中除所述第一集合外的所有集合，确定所述多个集合中除所述第一集合外的所有集合的权重值，包括：

将所述基础位置权重值与第一预设权重比例值相乘的值分别与所述第二集合中每一个特征词对应的次数相乘，获得所述第二集合中每一个特征词的权重值，所述第一预设权重比例值为网页标题位置相对于网页正文位置的权重比例；

将所述基础位置权重值与第二预设权重比例值相乘的值分别与所述第三集合中每一个特征词对应的次数相乘，获得所述第三集合中每一个特征词的权重值，所述第二预设权重比例值为网页关键词位置相对于网页正文位置的权重比例。

6.根据权利要求1所述的方法，其特征在于，所述将所述多个集合和所述多个集合中除所述第一集合外的所有集合的权重值进行整合处理，获得所述目标网页的特征向量，包括：

将所述多个集合中相同特征词对应的权重值相加，将相加后的权重值按照从大到小进行排序，确定排序后前n个权重值和与所述前n个权重值对应的特征词为所述目标网页的特征向量，其中，n为自然数。