[发明专利]一种基于FP-Growth算法的上下位关系抽取方法

权利要求书

1.一种基于FP-Growth算法的上下位关系抽取方法，其特征在于，包含如下步骤：

(1)输入任意领域的非结构化文本集合；

(2)对给定的文本集合，按句子进行预处理；

(3)设计上下位关系抽取形式化模板，匹配种子上下位关系；

(4)构建种子上下位关系分类扩展集合，利用FP-Growth算法抽取上下位关系候选集合；

(5)利用PMI点互信息筛选上下位关系候选集合；

(6)输出上下位关系的抽取结果。

2.根据权利要求1所述的基于FP-Growth算法的上下位关系抽取方法，其特征在于，所述步骤(2)包含如下子步骤：

(2-1)利用自然语言处理工具Hanlp对给定文本集合按句子进行切分词预处理，获得切分词后的句子集合S₁；

(2-2)利用自然语言处理工具Hanlp对句子集合S₁进行词性标注预处理，获得切分词和词性标注后的句子集合S₂。

3.根据权利要求1所述的基于FP-Growth算法的上下位关系抽取方法，其特征在于，所述步骤(3)包含如下子步骤：

(3-1)根据自然语言词法、句法特征，构建种子上下位关系抽取形式化模板；

(3-2)利用正则表达式，使用上述形式化模板对句子集合S₂进行模板匹配，获得种子上下位关系集合Z＝{(a_i,isa,b_j)}。

4.根据权利要求1所述的基于FP-Growth算法的上下位关系抽取方法，其特征在于，所述步骤(4)包含如下子步骤：

(4-1)利用种子上下位关系集合Z，构建种子上下位关系分类扩展集合其中hyper_k表示上下位关系中的上位词，hypo_k表示以hyper_k为上位词的下位词集合，表示以hyper_k为上位词的一个具体下位词；

(4-2)基于FP-Growth算法，在句子集合S₂中抽取与种子上下位关系分类扩展集合中共现的频繁项下位词集合其中m∈[0,n]，代表频繁项中与种子上下位关系分类扩展集合的hypo_k中共现的下位词个数，w_i代表候选下位词，f表示该频繁项出现的次数；

(4-3)给定阈值α＝5，当频繁项次数f≥α时，获得上下位候选关系集合HX＝(w_i,isa,hyper_k)。

5.根据权利要求1所述的基于FP-Growth算法的上下位关系抽取方法，其特征在于，所述步骤(5)包含如下子步骤：

(5-1)上下位候选关系集合HX中的上位词与下位词的点互信息计算，点互信息计算如下：

其中p(V_i,V_j)是上位词V_i与下位词V_j在语料中共现的概率，p(V_i)是上位词在语料中出现的概率，p(V_j)是下位词在语料中出现的概率；

(5-2)给定阈值β＝8，遍历上下位候选关系集合HX，当上位词V_i与下位词V_j的点互信息PMI(V_i,V_j)≥β时，将该上下位关系加入到集合Z中；

(5-3)完成步骤(5-2)后，跳转至步骤(4-1)进行迭代抽取，直至没有新的上下位关系加入到集合Z中为止。