[发明专利]一种网页特征提取方法和装置

说明书

本发明实施例公开了一种网页特征提取方法和装置，根据网页信息的位置架构将目标网页分为多个文档部分；分别对多个文档部分进行分词处理，对分词处理结果进行统计，获得与多个文档部分对应的多个集合，根据第一集合中与特征词对应的次数确定基础位置权重值，第一集合为所述多个集合中数据对最多的集合；根据基础位置权重值、预设权重比例值和多个集合中除第一集合外的所有集合，确定多个集合中除第一集合外的所有集合的权重值；将多个集合和多个集合中除第一集合外的所有集合的权重值进行整合处理，获得目标网页的特征向量，以使得根据特征向量对网页进行特征分析。

技术领域

本发明涉及互联网领域的特征提取技术，尤其涉及一种网页特征提取方法和装置。

背景技术

网页特征的提取是对网页内容进行数据分析的关键技术之一，更是对互联网用户进行个性化分析以及个性化服务推荐的重要环节。网页特征的提取质量的优劣会直接影响到对互联网用户个性化分析结果的好坏，也会进一步的影响到对用户提供个性化服务的质量。网页特征的提取过程对网页的架构，网页的内容字词的丰富性，字词的同义性非常敏感，网页特征的提取算法需要考虑这些因素对提取结果的影响，规避其他因素的干扰，提取最能表征网页内容的特征词。

现有技术中，网页特征提取的算法主要以文字频率-文档频率(TF_IDF，termfrequency–inverse document frequency)算法和基于文档对象模型(DOM，DocumentObject Mode)树抽取技术为基础来构思优化的。TF_IDF算法是一种用于信息检索与数据挖掘的常用加权技术，采用计算字词在文件中出现的次数以及全网包含本字词的文件数来评估字词在网页中的重要程度，并以重要程度的大小为标准来筛选网页的特征词。基于DOM树的抽取技术是根据HTML网页所具有的树形层次结构特征来实现超文本标记语言HTML网页中的数据抽取，采用优化网页的特征向量的方式来提取网页的特征词。利用基于DOM树抽取技术获取到的网页特征词具有相对较高的准确率和召回率。

然而，TF_IDF算法中特征词权重计算存在不合理性，由于HTML文档与普通的文档在结构上有很大的不同，它属于半结构化的文本形式，特征词在文档中所处的位置不同，它所体现出对文章表征能力的程度也应该是有差别的，所赋予的权重值就应该不同，因此，这种简单的套用IDF计算不是科学和全面的；TF_IDF类间的区分能力存在不足性，TF_IDF仅仅能区分一个特征项在此文本和此文本所在类的区别，但不能很好的表现此特征项和其他类间的区别。基于DOM树的抽取技术对网页结构有过多的依赖性，DOM技术是根据HTML网页所具有的树形层次结构特征来实现HTML网页中的数据抽取，利用基于DOM树抽取技术获取到的网页特征词的准确率和召回率相对较高，但是该技术需要相应的若干实例网页，因此是适用于各个不同的知识领域，但由于对结构性的过分依赖，容易在网页结构变化的形式下被动。总而言之，上述两种基础方法各自存在的一定的局限性，即对特征词所处位置的不敏感和对网页结构过于依赖。

发明内容

为解决上述技术问题，本发明实施例提供一种网页特征提取方法和装置，优化网页特征提取结果的质量，保证对互联网用户的个性化分析数据的正确性。

本发明的技术方案是这样实现的：

本发明实施例提供一种网页特征提取方法，所述方法包括：

获取目标网页，根据网页信息的位置架构将所述目标网页分为多个文档部分；

分别对所述多个文档部分进行分词处理，对分词处理结果进行统计，获得与所述多个文档部分对应的多个集合，其中，每一个文档部分对应一个集合，所述多个集合中的每一个集合包括至少一个数据对，每一个数据对包括：特征词和与所述特征词对应的次数；

根据第一集合中与所述特征词对应的次数确定基础位置权重值，所述第一集合为所述多个集合中数据对最多的集合；

根据所述基础位置权重值、预设权重比例值和所述多个集合中除所述第一集合外的所有集合，确定所述多个集合中除所述第一集合外的所有集合的权重值；