[发明专利]一种基于隐马尔可夫模型的词性标注方法

说明书

本发明提供一种基于隐马尔可夫模型的词性标注方法，包括：基于HMM模型的初步描述，在所述HMM模型上的Viterbi算法给出所述Viterbi算法的具体代码实现，随机变量序列X₁,X₂,...,X_n满足P(X_n|X₁,X₂,...,X_n‑1)＝P(X_n|_Xn‑1)，利用已知的信息，通过求解X_n的转移概率矩阵方法获取随机变量序列X_n的性质,进而解决问题；以HMM链作为基础理论，基于Viterbi算法的词性标注的过程为：(1)确定到达下一个状态的最可能路径，并记录其状态；(2)确定系统完成时最可能的隐藏状态；(3)所述最可能的状态路径在整个网格回溯，回溯完成时生成观察序列的最可能的隐藏状态序列，在词性标注、语音识别等多个领域都有很广泛的应用。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于隐马尔可夫模型的词性标注方法。

背景技术

现代社会，随着信息技术的快速发展，词性标注成为了自然语言处理中一个具有重要意义的研究方向，它作为自然语言处理的一项基础性工作，是后续语法分析、语音识别、文本分类、机器翻译等任务的必要准备。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施例部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为至少部分地解决上述技术问题，本发明提供了一种基于隐马尔可夫模型的词性标注方法，包括：

首先，进行对HMM(隐马尔科夫)模型初步的描述；

对随机变量序列X₁,X₂,...,X_n满足:P(X_n|X₁,X₂,...,X_n-1)＝P(X_n|X_n-1)，利用已知信息，通过求解X_n的转移概率矩阵方法获取随机变量序列X_n的性质,从而解决问题。

其次，HMM模型上的Viterbi算法；

(1)根据初始状态分布π生成初始状态；

(2)t＝1；

(3)根据B和状态i_t生成O_t；

(4)根据A和i_t生成i_t+1；

(5)t＝t+1，如果t＜T则跳回(3)，否则结束。

其中，所述T表示为观测序列长度，所述N表示为隐藏状态数，所述A＝a_ij，a_ij＝P(q_jat t+1|q_i at t)，所述B＝b_j(k)，b_j(k)＝P(v_k at t|q_j at t)，所述π＝π_i，π_i＝P(q_i at t＝1)。

通过所述五个步骤生成隐马尔科夫链以及观测序列0＝0₁，0₂，...，0_T。

进一步地，基于Viterbi算法的词性标注；

(1)确定到达下一个状态的最可能路径，并记录其状态；