[发明专利]一种基于统计语言模型得分规整的语音识别方法及系统

说明书

本发明一种基于统计语言模型得分规整的语音识别方法，所述方法包括：步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型；包括：k阶统计N元文法语言模型，k‑1个不同阶数的统计N元文法语言模型和k‑1个不同阶数的改进的统计N元文法语言模型；步骤2)将待识别语音进行第一遍解码，得到L条候选语音s；步骤3)利用步骤1)的若干个基于多尺度马尔科夫假设的统计语言模型计算L条候选语音s的语言模型得分，结合声学模型得分计算出每条候选语音的得分；步骤4)选出得分最高的候选语音作为第二遍解码结果；该结果为最终的识别结果。本发明的方法对于识别错误具有良好的容错性，能够有效的提升语音识别的正确率。

技术领域

本发明涉及语音识别领域和自然语言处理领域，特别涉及一种基于统计语言模型得分规整的语音识别方法及系统。

背景技术

传统的统计语言模型(Language Model,LM)建模目标是学习训练数据的分布，即如何在给定正确的历史词序列的条件下，更加精确预测未来的词。对于统计N元文法语言模型(N gram LM)，国内外研究者已提出多种数据平滑(Data Smoothing)算法，例如加法平滑算法、古德-图灵(Good-Turning)平滑算法、Katz平滑算法、Witten-Bell平滑算法、Kneser-Ney平滑算法等。以上数据平滑算法可以归为插值(Interpolation)与回退(Back-off)两类，其目标都是利用有限的训练数据建立更符合真实数据分布的概率分布模型。对于基于神经网络(Neural Network)的语言模型，尚未有学者提出有效的数据平滑算法，而是利用神经网络对历史词汇的低维表示隐含的对数据进行平滑。

在语音识别中，语言模型作用的条件与其训练条件存在较大差异。在语音识别解码过程中，语言模型依赖的历史序列中包含由识别错误引入的非正确词汇序列。此处非正确词汇序列是指不符合语法、语义规则的词汇序列，正确的词汇序列则是符合语法、语义规则的词汇序列。而统计语言模型在训练和参数估计过程中，仅在输入正确词汇序列的条件下进行预测。因此，统计语言模型训练模式与应用目标的差异，导致了语言模型在语音识别任务中性能受限。

发明内容

本发明的目的在于克服现有语言模型的存在的识别错误的容错性低的缺陷，提出了一种基于统计语言模型得分规则的语音识别方法。

为了实现上述目的，本发明提出了一种基于统计语言模型得分规则的语音识别方法，所述方法包括：

步骤1)建立和训练若干个基于多尺度马尔科夫假设的统计语言模型；包括：k阶统计N元文法语言模型，k-1个不同阶数的统计N元文法语言模型和k-1个不同阶数的改进的统计N元文法语言模型；

步骤2)将待识别语音进行第一遍解码，得到L条候选语音s；

步骤3)利用步骤1)的若干个基于多尺度马尔科夫假设的统计语言模型计算L条候选语音s的语言模型得分，结合声学模型得分计算出每条候选语音的得分；

步骤4)选出得分最高的候选语音作为第二遍解码结果；该结果为最终的识别结果。

作为上述方法的一种改进，所述步骤1)具体包括：

步骤1-1)确定马尔科夫假设阶数k，利用训练数据训练待规整的k阶统计N元文法语言模型，记为k gram LM；

步骤1-2)采用步骤1)的训练数据分别训练k+1gram LM，k+2gram LM，…,2k-1gramLM；

给定训练语句W＝w₁，...，w_T，T是语句W的长度，单词w_t，1＜＝t＜＝T的k gram历史是k gram LM利用语句s中每个单词的k gram历史计算语句W的概率：