[发明专利]一种自动化选择合适关键词组合抽取文本的方法

说明书

本发明公开了一种自动化选择合适关键词组合抽取文本的方法，包括如下步骤：S1、对原始文本进行数据预处理，得到高质量的切词结果，所述数据预处理包括发现固定搭配短语和对原始文本进行切词以及过滤停用词；S2、选取候选关键词；S3、推荐关键词组合，基于原始文本中每条数据所包含的候选关键词，生成无序和有序的共现词组合集合，并以F1‑score作为评价指标，从无序和有序的共现词组合集合中推荐出用于搜索目标文本的合适的关键词组合。本发明通过使用机器来代替人工对用于搜索目标文本的关键词组合进行选择，有效降低了该项任务所需耗费的人力成本和时间成本，并可使选出的关键词组合结果具有质量更优、内容更完整的特点。

技术领域

本发明涉及人工智能领域中的自然语言处理技术，具体为一种自动化选择合适关键词组合抽取文本的方法。

背景技术

使用关键词及关键词组合搜索内容是一种常见的文本搜索方法。该方法的优点是搜索效率高，可以快速为用户提供搜索结果，但也对用户所选用的关键词及关键词组合有较高要求。能否找到合适的关键词及关键词组合进行文本搜索成了是否能抽出令用户满意的目标文本的关键所在。当所选择的关键词及词组质量较差时，搜索结果中将存在大量杂质，用户想得到目标文本还需对搜索结果进行进一步过滤，从而增大了用户的工作量。

目前，选择用于搜索文本的合适关键词及关键词组合主要依靠人工总结，然而，在一些任务中，文本数据量较大，所包含信息纷乱复杂。从中总结出能尽可能多地规避杂质，同时又能尽可能多的保留目标文本的关键词组合较为困难，需要耗费大量时间。并且，该劳动成果不可复用，在新的文本搜索任务中，又需要基于新的搜索目标重新总结关键词及关键词组合。因此，发明一种自动化选择用于搜索文本的合适关键词组合的方法，将能大大减少此类工作的人力投入和时间成本。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种自动化选择合适关键词组合抽取文本的方法，包括如下步骤：

S1、对原始文本进行数据预处理，得到高质量的切词结果，所述数据预处理包括发现固定搭配短语和对原始文本进行切词以及过滤停用词；

S2、选取候选关键词，从S1中的切词结果中，选择出主题特征性较强的词作为候选关键词，具体步骤如下：

S2.1、使用TF-IDF算法，为原始文本中的每条数据所包含的词赋予基于其统计信息所计算得的权重；

S2.2、基于原始文本训练LDA模型，使用训练好的LDA模型，计算原始文本中的每条数据所包含的词的主题突出度；

S2.3、将各词基于TF-IDF算法计算得到的权重和基于训练好的LDA模型计算得的主题突出度相加，得到二者之和，再考虑各词词性对二者之和进行修正，得到各词的最终权重；

S2.4、将原始文本中每条数据所包含的词依照其权重从高到低排序，设置权重的最小阈值，并将权重大于所设阈值的词作为候选关键词；

S3、推荐关键词组合，基于原始文本中每条数据所包含的候选关键词，生成无序和有序的共现词组合集合，并以F1-score作为评价指标，从无序和有序的共现词组合集合中推荐出用于搜索目标文本的合适的关键词组合。

作为本发明的一种优选技术方案，S1中的发现固定搭配短语具体步骤如下：

S1.1、基于原始文本生成所有N元词串，计算各N元词串的左右熵和互信息，设置好左右熵和互信息的最小阈值，将左右熵和互信息的值均大于所设阈值的N元词串作为候选固定搭配短语；

S1.2、对候选固定搭配短语去重，当两个候选固定搭配短语属于包含关系时，保留长度较长的候选固定搭配短语，而删掉长度较短的；

S1.3、基于词性对候选固定搭配短语进行进一步过滤。