[发明专利]一种基于FP-Growth算法的上下位关系抽取方法

说明书

本发明公开了一种基于FP‑Growth算法的上下位关系抽取方法，其包括步骤如下：（1）、输入任意领域的非结构化文本集合；（2）、对给定的文本集合，按句子进行预处理；（3）、设计上下位关系抽取形式化模板，匹配种子上下位关系；（4）、构建种子上下位关系分类扩展集合，利用FP‑Growth算法抽取上下位关系候选集合；（5）、利用PMI（点互信息）筛选上下位关系候选集合；（6）、输出上下位关系的抽取结果。该方法利用少量形式化模板来匹配获取高准确率的种子上下位关系，并基于FP‑Growth算法从非结构化文本中抽取上下位关系，能够实现自动抽取并提高了上下位关系抽取准确率和覆盖率。

技术领域

本发明涉及一种从非结构化文本中抽取上下位关系的方法，特别涉及一种基于FP-Growth算法的上下位关系抽取方法。该方法能够实现自动抽取，并提高了上下位关系抽取准确率和覆盖率。

背景技术

上下位关系是自然语言处理任务的重要基础。概念和实体等通过上位关系、下位关系紧密的联系起来，以便更好的进行知识获取和知识推理。传统的上下位关系抽取方法主要有基于百科知识库的方法和基于统计的两种方法。基于百科知识库的方法主要从百科半结构化文本中抽取上下位关系，该方法存在上下位关系抽取覆盖率低的问题。面对结构复杂的非结构化文本，该方法势必难以获取令人满意的效果。基于统计的方法利用词之间的共现信息特征进行上下位关系抽取。该方法依赖词的共现信息来判断词之间是否存在上下位关系，准确率较低，无法满足实际应用需求。

发明内容

针对已有的上下位关系抽取方法的不足，本发明提出一种基于FP-Growth算法的上下位关系抽取方法。该方法首先利用少量形式化模板来匹配获取高准确率的种子上下位关系，然后基于FP-Growth算法从非结构化文本中抽取上下位关系，解决非结构化文本中上下位关系抽取准确率和覆盖率低的问题，无需人工参与和标注语料，实现非结构化文本中上下位关系的自动抽取。

为达到上述目的，本发明采用如下技术方案：

一种基于FP-Growth算法的上下位关系抽取方法，包含如下步骤：

(1)输入任意领域的非结构化文本集合；

(2)对给定的文本集合，按句子进行预处理；

(3)设计上下位关系抽取形式化模板，匹配种子上下位关系；

(4)构建种子上下位关系分类扩展集合，利用FP-Growth算法抽取上下位关系候选集合；

(5)利用PMI点互信息筛选上下位关系候选集合；

(6)输出上下位关系的抽取结果。

所述步骤(2)包含如下子步骤：

(2-1)利用自然语言处理工具Hanlp对给定文本集合按句子进行切分词预处理，获得切分词后的句子集合S₁；

(2-2)利用自然语言处理工具Hanlp对句子集合S₁进行词性标注预处理，获得切分词和词性标注后的句子集合S₂。

所述步骤(3)包含如下子步骤：

(3-1)根据自然语言词法、句法特征，构建种子上下位关系抽取形式化模板，如表1所示，其中a₁和a₂表示下位词，b₁表示上位词；

表1：种子上下位关系抽取形式化模板