[发明专利]基于非自回归模型的流式语音识别系统及方法

权利要求书

1.一种基于非自回归模型的流式语音识别系统，其特征在于，包括：依次相互连接的声学特征序列提取模块、流式声学编码器、CTC线性映射层和非自回归解码器；

所述声学特征序列提取模块，用于对输入语音序列进行特征提取；

所述流式声学编码器，用于将输入语音序列转换进行流式编码，并输出声学编码状态序列；

所述CTC线性映射层，用于计算得到CTC输出概率分布，辅助确定文本标记位置；

所述非自回归解码器，用于对块状声学编码状态子序列进行非自回归解码。

2.一种利用如权利要求1所述的基于非自回归模型的流式语音识别系统进行流式语音识别的方法，其特征在于，包括如下步骤：

S11，获取语音训练数据与对应文本数据构成语音-文本对作为训练数据，并提取声学特征序列；

S12，将声学特征序列输入流式声学编码器中，通过前向计算，输出声学编码状态序列；

S13，将声学编码状态序列输入CTC线性变换层计算得到CTC输出概率分布，并结合文本标注计算联结时序损失，即CTC损失；

S14，根据维特比算法利用CTC输出概率分布将声学编码状态序列与对应的文本标记序列进行对齐，确定文本标记序列在声学编码状态序列中的位置，并进行记录；

S15，将声学编码状态划分为等长且不重叠的声学编码特征块，如果有文本标记位于本块内部，则将本块声学特征子序列、先前声学编码特征块对应的文本标记序列以及固定长度的空白填充标记序列作为非自回归解码器输入，计算出非自回归概率分布；

S16，将每块对应的非自回归概率分布与每块对应的文本标记分别计算交叉熵损失，并进行求和，得到联合非自回归交叉熵损失；

S17，将联结时序损失和联合非自回归交叉熵损失进行加权，根据两者的联合损失计算梯度，进行反向传播；

S18，循环执行S12至S17，直至达到预设的训练结束条件，完成训练。

3.根据权利要求2所述的基于非自回归模型的流式语音识别方法，其特征在于，所述步骤S11中通过对时域下的语音波形信号加窗分帧后进行离散傅里叶变换，提取特定频率分量的系数组成特征向量，一系列的特征向量构成语音特征序列，所述系数是梅尔频率倒谱系数或梅尔滤波器组系数，或者通过各种预训练模型生成的低层次或者高层次特征表示。

4.根据权利要求2所述的基于非自回归模型的流式语音识别方法，其特征在于，所述步骤S12中流式声学编码器是基于卷积网络和单向自注意力网络构的声学编码器，卷积部分负责对局部声学特征建模和时序降采样；单向自注意力网络负责建模输入序列的上文依赖关系；所述流式声学编码器由单向的循环网络模型或者卷积神经网络来构建。

5.根据权利要求2所述的基于非自回归模型的流式语音识别方法，其特征在于，所述步骤S13中CTC线性变换层仅包含一层线性映射，负责将流式声学编码器的输出映射到输出词表大小，其每个输出单元与词表中的一个标签一一对应，所述词表中包含空格标签，对应到CTC模型中的空格标志。

6.根据权利要求2所述的基于非自回归模型的流式语音识别方法，其特征在于，所述步骤S15中非自回归解码器的输入包含三部分，分别是本块声学特征子序列、先前声学编码特征块对应的文本标记序列以及固定长度的空白填充标记序列；本块声学特征子序列用于计算注意力机制以获取声学信息；先前声学编码特征块对应的文本标记序列以及固定长度的空白填充标记序列被按照顺序拼接起来作为输入；填充序列的长度等于一个切分中所包含的标签的个数的最大值；模型仅在填充标记位置计算出非自回归概率分布。

7.根据权利要求2所述的基于非自回归模型的流式语音识别方法，其特征在于，所述步骤S16中交叉熵损失的计算遵循常用的交叉熵损失计算方法。