[发明专利]语音识别及其模型训练方法

权利要求书

1.一种语音识别的模型训练方法，其特征在于，所述方法包括：

根据第一音素集合生成第一发音词典，所述第一音素集合包括成人音素集合和儿童音素集合，所述第一发音词典用于指示文字与音素之间的映射关系；

利用训练数据和所述第一发音词典对第一声学模型进行训练，得到第一状态的第一声学模型，所述训练数据包括从音频样本提取到的声学特征和文本；

根据所述第一状态的第一声学模型，对所述第一音素集合和所述第一发音词典进行更新，得到更新后的第二音素集合和第二发音词典；

根据所述训练数据和所述第二发音词典，对所述第一状态的第一声学模型进行训练，得到第二状态的第一声学模型；

根据所述第二状态的第一声学模型，生成初始化第二声学模型；

根据所述训练数据和所述第二发音词典，对所述初始化第二声学模型进行训练，得到第二声学模型，所述第二声学模型用于结合所述第二发音词典对从待识别音频提取到的声学特征进行识别，输出识别到的文本。

2.根据权利要求1所述的方法，其特征在于，根据所述第一状态的第一声学模型，对所述第一音素集合和所述第一发音词典进行更新，得到更新后的第二音素集合和第二发音词典，包括：

利用所述第一状态的第一声学模型和所述第一发音词典，对所述训练数据进行解码和对齐处理，得到处理结果，所述处理结果包括每个音频样本的解码音素字符串和对齐音素字符串；

根据所有音频样本的解码音素字符串和对齐音素字符串，确定所述第一音素集合中每个音素的被识别为其他音素的替换频率；

对替换频率满足音素融合条件且具有相同音素含义的成人音素和儿童音素进行融合，生成融合音素；

将所述第一音素集合中与所述融合音素对应的成人音素和儿童音素替换为所述融合音素，得到第二音素集合；

根据所述第二音素集合对所述第一发音词典进行更新，得到第二发音词典。

3.根据权利要求2所述的方法，其特征在于，根据所有音频样本的解码音素字符串和对齐音素字符串，确定所述第一音素集合中每个音素的被识别为其他音素的替换频率，包括：

比较每个音频样本的解码音素字符串和对齐音素字符串，确定所述解码音素字符串相对于所述对齐字符串发生音素变化的次数，所述音素变化包括插入、删除、替换中的至少一种；

根据所述解码音素字符串中发生音素变化的次数和所述对齐音素字符串的音素总数，确定每个音频样本的解码音素字符串和对齐音素字符串之间的最小化编辑距离；

根据所述最小化编辑距离，确定所述第一发音词典中每个音素的被识别为其他音素的替换频率。

4.根据权利要求2所述的方法，其特征在于，对替换频率满足音素融合条件且具有相同音素含义的成人音素和儿童音素进行融合，生成融合音素，包括：

根据每个音素被识别为其他音素的替换频率，创建音素混淆矩阵，所述音素混淆矩阵包括所述第一音素集合中的每个音素以及每个音素被识别为其他音素的替换频率；

根据所述音素混淆矩阵中具有相同音素含义的成人音素和儿童音素的替换频率，确定出具有相同音素含义的成人音素和儿童音素之间互相替换的混淆值；

将混淆值满足音素融合条件且具有相同音素含义的成人音素和儿童音素进行融合，生成融合音素。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在训练过程中，根据预设损失函数计算出的所述第二声学模型的损失，更新所述第二声学模型的模型参数；

其中，所述预设损失函数的公式为：

其中，f为所述第二声学模型的损失，∑_wP(O_u|S)P(W)为第二声学模型识别出所有可能的状态序列S的概率和，为对与句子u对应的给定状态序列进行对齐得到的最大概率值。

6.根据权利要求1所述的方法，其特征在于，所述方法包括：

在得到所述第二声学模型之后，对所述第二发音词典进行简化处理，得到简化后的第二发音词典，以使得所述第二声学模型用于结合所述简化后的第二发音词典对从待识别音频提取到的声学特征进行识别，输出识别到的文本。