[发明专利]基于图的最大紧密度划分的复合短语无监督识别方法

权利要求书

1.一种基于图的最大紧密度划分的复合短语无监督识别方法，其特征在于，包括以下步骤：

1)采用词性标注工具对输入语料进行词性标注和分词；

2)将分词后的输入序列映射到有序的图结构中，将语义紧密度高的词语划分到一个分段内，并使得整个图的紧密度之和最大；

3)通过验证各分段是否包含特征词，识别出复合短语。

2.如权利要求1所述的方法，其特征在于：步骤2)通过将语义紧密度高的词语划分到一个分段内，实现将无关的成分与候选复合短语相分离。

3.如权利要求1所述的方法，其特征在于：步骤2)将目标函数定义为各个分段紧密度之和，通过动态规划求解目标函数最大值，从而对原输入分词序列求解最优划分分段方案，进而得到文本中复合短语与其他成分的最优的划分方案。

4.如权利要求1所述的方法，其特征在于：步骤2)中整个输入序列对应图的分段整体紧密度计算公式为：

$C\left(s\right)=\frac{\underset{\∀w_1,w_2\∈s}{\Σ}C(w_1,w_2)}{\left|s\right|}$

其中，C(w₁，w₂)代表词w₁与词w₂之间的紧密度，s表示一个分段，|s|表示分段中分词的个数。

5.如权利要求4所述的方法，其特征在于，步骤2)计算分词之间的紧密度时，将分词之间的紧密度划分为特殊符号紧密度、维基百科紧密度、以及词性紧密度。

6.如权利要求5所述的方法，其特征在于，所述特殊符号紧密度的计算公式为：

$C_{sm}(w_1,w_2)=e^{D_s(w_1,w_2)}\×I_s^{sm}(w_1,w_2),$

其中D_s(w₁，w₂)代表词w₁与词w₂之间间隔的分词个数，为表征w₁与w₂之间是否位于同一对特殊符号内的布尔函数。