[发明专利]一种基于隐马尔可夫模型的词义消歧方法

摘要

基于隐马尔可夫模型的词义消歧方法，步骤如下：1)训练语料，利用SemEval‑2007#task5的测试语料集合对待消歧的句子进行解析；再对该句子进行分词处理；2)分词后找到句子中的歧义词，提取目标歧义词及其左右两侧的分词；训练语料，计算语义类‑词汇转移概率和语义类转移概率；3)从人工标注语料中提取包含歧义词的句子数，计算观测概率，计算歧义词左右两侧词汇的观测概率；4)利用前面语料训练出来的数值计算状态转移概率，提取到的初始状态概率、观测概率与状态转移概率，作为隐马尔可夫模型参数，将构建好的消歧模型，对测试语料中的语句进行消歧；5)利用相似度计算方法验证消歧结果的准确性。

主权项

1.基于隐马尔可夫模型的词义消歧方法，其特征是步骤如下：步骤1 训练语料，利用SemEval-2007#task5的测试语料集合对待消歧的句子进行解析；再对该句子进行分词处理；步骤2 分词后找到句子中的歧义词，提取目标歧义词及其左右两侧的分词；训练语料，计算语义类-词汇转移概率和语义类转移概率；步骤3 从人工标注语料中提取包含歧义词wordk的句子数Num(Sentence(wordk))，以及该词汇wordk对应的语义为sensej的句子数Num(sensej,wordk)，计算观测概率P(wordk|sensej)，观测概率是词本身出现的概率，即在给定语义类sensej的前提下，产生词汇wordk的概率；以同样的方式计算歧义词左右两侧词汇的观测概率，由语料库确定语义状态集合S，状态集合S即是待消歧词语义的集合；步骤4 利用前面语料训练出来的数值计算状态转移概率P(sensei|sensej)，状态转移概率表示人工标注语料中语义类sensej出现在语义类sensei左侧的概率，也就是说在给定左侧词汇的语义类sensej的前提下，当前词汇的语义为sensei的概率，提取到的初始状态概率、观测概率与状态转移概率，作为隐马尔可夫模型参数λ，将构建好的消歧模型，对测试语料中的语句进行消歧；步骤5 利用相似度计算方法验证消歧结果的准确性。