[发明专利]关键词提取方法及装置

说明书

本发明公开了一种关键词提取方法及装置，涉及文本处理技术领域，主要目的在于解决关键词提取冗余度较高的问题，本发明的主要技术方案为：获取目标文档中各个词语分别对应的词向量；根据预置聚类算法对向量化的词语进行聚类得到聚簇，所述聚簇中词语的语义相同或相近；计算所述聚簇中各个词语的权重值；将各个聚簇内权重值最高的词语确定为所述目标文档的关键词。本发明主要用于从目标文档中提取关键词。

技术领域

本发明涉及文本处理技术领域，特别是涉及一种关键词提取方法及装置。

背景技术

关键词提取是从给定的文本中提取出能反映文本主旨信息的词或短语，关键词提取在自动摘要、文本挖掘、信息检索中发挥着重要作用，尤其是实现自动标注的关键方法。

目前，主要基于统计的关键词提取方法获取目标文档中的关键词，如通过平均频率*比例文档频率(Average Term Frequency*Proportional Document Frequency，ATF*PDF)方法从目标文档提取关键词，即根据词语在整个文档中的平均词频ATF，及词语的比例文档频率PDF提取关键词。

但是，若目标文档中存在多个词频较高的同义词，如在一篇主题中表达一种语义的“职工”、“人员”、“个人”出现的频率均较高，将会造成关键词语义信息的冗余，因此现有关键词提取的冗余度较高。

发明内容

有鉴于此，本发明提供一种关键词提取方法及装置，主要目的在于解决关键词提取冗余度较高的问题。

依据本发明一个方面，提供了一种关键词提取方法，包括：

获取目标文档中各个词语分别对应的词向量；

根据预置聚类算法对向量化的词语进行聚类得到聚簇，所述聚簇中词语的语义相同或相近；

计算所述聚簇中各个词语的权重值；

将各个聚簇内权重值最高的词语确定为所述目标文档的关键词。

具体的，所述根据预置聚类算法对向量化的词语进行聚类得到聚簇包括：

基于密度的方法对向量化的词语进行初始聚类中心的选择；

以所述初始聚类中心为初始中心点，基于距离的聚类算法K-means对向量化的词语进行聚类得到聚簇。

具体的，所述计算所述聚簇中各个词语的权重值包括：

根据所述聚簇内各个词语距所述初始中心点的距离，和/或所述目标文档中词语的基于统计的关键词提取方法ATF*PDF值，确定聚簇中各个词语的权重值。

具体的，所述根据所述聚簇内各个词语距所述初始中心点的距离和所述目标文档中词语的ATF*PDF值，确定聚簇中各个词语的权重值包括：

设置所述词语距所述初始中心点的距离对应的权重系数、所述词语的ATF*PDF值对应的权重系数；

将所述词语距所述初始中心点的距离及其权重系数的乘积与所述词语的ATF*PDF值及其权重系数的乘积相加，确定聚簇中各个词语的权重值。

具体的，所述将各个聚簇内权重值最高的词语确定为所述目标文档的关键词包括：

根据聚簇内包含的词语个数和/或聚簇中心的语义偏移量计算各个聚簇的重要性；所述聚簇中心的语义偏移量为迭代终止时聚簇的中心点与聚簇的初始中心点的差值的绝对值；

依据所述重要性对聚簇进行排序；

从重要性排名符合预置条件的聚簇中提取权重值最高的词语；

将所述提取的词语作为所述目标文档的关键词。