[发明专利]特征词提取方法及装置

说明书

本发明公开了一种特征词提取方法及装置，该特征词提取方法包括：利用TF‑IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重；根据文本中的同义词生成同义词集合，并根据词语权重对同义词集合中的同义词进行合并加权；根据合并加权后的权重值生成候选特征词集合以选取特征词。上述技术方案基于TF‑IDF方法，实现了一种优化的文本的特征词提取方法，并具有较好的分析效果。

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种特征词提取方法及装置。

背景技术

新闻特征词提取是从新闻稿件中提取能代表新闻主旨的词汇，特征词可以很好的概况新闻的主要内容和特征，降低文本处理的复杂度，并可被进一步用于新闻聚类等后续文本处理。最常用的技术之一是TF-IDF(Term Frequency-Inverse Document Frequency)，它是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用，作为文件与用户查询之间相关程度的度量或评级。

TF-IDF的简单结构并不能有效地反映词汇或短语的重要程度和特征值的分布情况，所以TF-IDF的精度并不是很高，主要表现在：未考虑词语之间的关联关系。该方法以特征独立为理论基础，在计算词语权重时没有考虑词语之间的关联关系，不能将那些与其他词具有关联关系的词语区别对待，实际上这些词语更能代表文本内容，应该具有更高的权重。

发明内容

针对相关技术中存在的问题，本发明提出一种特征词提取方法及装置，能够在词语关联关系方面进行改进。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种特征词提取方法，包括：

利用TF-IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重；

根据文本中的同义词生成同义词集合，并根据词语权重对同义词集合中的同义词进行合并加权；

根据合并加权后的权重值生成候选特征词集合以选取特征词。

根据本发明的实施例，在生成候选特征词集合之后，还包括：判断候选特征词是否在关联词词库中；若候选特征词在关联词词库中，则判断候选特征词的关联词中是否存在非候选特征词；若候选特征词的关联词中存在非候选特征词，则根据候选特征词和非候选特征词的关联度对权重值进行调整。

根据本发明的实施例，其中，若候选特征词不在关联词词库中，则不对权重值进行调整；若候选特征词的关联词中不存在非候选特征词，则不对权重值进行调整。

根据本发明的实施例，在对权重值进行调整之后还包括选取特征词，选取特征词具体包括：对调整后的权重值由高至低进行排序，并将调整后的权重值大于设定阈值的候选特征词作为文本的特征词。

根据本发明的实施例，根据合并加权后的权重值生成候选特征词集合，具体包括：将权重值大于设定阈值的词语作为候选特征词，并将候选特征词的集合作为特征候选词集合。

根据本发明的另一方面，提供了一种特征词提取装置，包括：权重计算模块，利用TF-IDF加权方法对文本的词语集合中的词语进行权重计算得到词语权重；合并模块，用于根据文本中的同义词生成同义词集合，并根据词语权重对同义词集合中的同义词进行合并加权；选取模块，用于根据合并加权后的权重值生成候选特征词集合以选取特征词。

在一个实施例中，特征词提取装置还可包括：判断模块，用于判断候选特征词是否在关联词词库中；若候选特征词在关联词词库中，则判断候选特征词的关联词中是否存在非候选特征词；权重调整模块，用于在候选特征词的关联词中存在非候选特征词时，根据候选特征词和非候选特征词的关联度对权重值进行调整。