[发明专利]一种文本的关键词提取方法、装置、电子设备及存储介质

说明书

本发明涉及一种文本的关键词提取方法、装置、电子设备及存储介质，该方法包括：获取待处理文本，待处理文本为中文文本；对待处理文本进行分词处理，得到待处理文本对应的分词结果；获取待处理文本中每个字的显著性数值和非显著性数值，对于每个字，获取该字对应的词内转移概率和词间转移概率，根据该字对应的词内转移概率、词间转移概率、显著性数值和非显著性数值，确定该字对应的显著性分数和非显著性分数；根据分词结果、各个字中每个字的显著性分数和非显著性分数，确定待处理文本中的关键词并提取关键词。通过本发明的方法，基于每个字的显著性分数和非显著性分数，结合分词结果，可以准确地确定出待处理文本中的关键词并进行提取。

技术领域

本发明涉及关键词抽取技术领域，具体而言，本发明涉及一种文本的关键词提取方法、装置、电子设备及存储介质。

背景技术

关键词抽取技术就是将一段文本中的关键词抽取出来，在文献检索、自动文摘、文本聚类等任务中有着重要的作用。当前主流的关键词抽取技术有基于TF-IDF的关键词抽取算法、基于注意力机制(attention)的关键词抽取算法和基于显著度(saliency)的关键词抽取算法，但这些算法在中文的文本上往往效果欠佳，TF-IDF并没有考虑文本的语义信息，而注意力机制和文本显著度往往是基于子词(word piece)的，不能够很好抽出中文中的词语。

因此，如何设计一个能够考虑中文文本的分词信息的关键词抽取算法是目前亟待解决的技术问题。

发明内容

基于本发明所要解决的技术问题，提供了一种文本的关键词提取方法、装置、电子设备及存储介质，旨在解决上述至少一个技术问题。

第一方面，本发明解决上述技术问题的技术方案如下：一种文本的关键词提取方法，该方法包括：

获取待处理文本，所述待处理文本为中文文本；

对所述待处理文本进行分词处理，得到所述待处理文本对应的分词结果；

获取所述待处理文本中每个字的显著性数值和非显著性数值，对于每个字，所述字的显著性数值的大小表征了该字属于关键词的概率，所述非显著性数值的大小表征了该字不属于关键词的概率；

对于每个字，获取该字对应的词内转移概率和词间转移概率，所述词内转移概率表征了该字与该字的相邻字同为显著性的字的概率，所述词间转移概率表征了该字与该字的相邻字同为非显著性的字的概率；

对于每个字，根据该字对应的词内转移概率、词间转移概率、显著性数值和非显著性数值，确定该字对应的显著性分数和非显著性分数；

根据分词结果、各个字中每个字的显著性分数和非显著性分数，确定所述待处理文本中的关键词并提取所述关键词。

本发明的有益效果是：对于待处理文本，通过计算待处理文本中每个字的显著性分数和非显著性分数，可以体现出各个字之间的语义信息之间的关系，基于待处理文本中每个字的显著性分数和非显著性分数，再结合待处理文本的分词结果，可以准确的确定出待处理文本中的关键词进行提取。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，对于每个字，上述根据该字对应的词内转移概率、词间转移概率、显著性数值和非显著性数值，确定该字对应的显著性分数和非显著性分数，包括：

对于每个字，若该字为所述待处理文本的第一个字，则根据该字对应的显著性数值作为该字对应的显著性分数，将该字对应的非显著性数值作为该字对应的非显著性分数；

对于每个字，若该字不是所述待处理文本的第一个字，则根据该字对应的词内转移概率、词间转移概率、显著性数值、该字的相邻字对应的显著性数值和非显著性数值，确定该字对应的显著性分数，根据该字对应的词内转移概率、词间转移概率、非显著性数值、该字的相邻字对应的显著性数值和非显著性数值，确定该字对应的非显著性分数。