[发明专利]基于非自回归模型的流式语音识别系统及方法

说明书

本发明公开了基于非自回归模型的流式语音识别系统及方法，方法包括：S11，提取声学特征序列；S12，生成声学编码状态序列；S13，生成声学编码状态序列；S14，计算CTC输出概率分布和联结时序损失；S15，利用维特比算法进行对齐；S16，逐段输入并计算联合交叉熵损失；S17，根据联结时序损失和联合交叉熵损失的联合损失计算梯度，进行反向传播；S18，循环执行S12至S17，直至完成训练；系统包括：依次相互连接的声学特征序列提取模块、流式声学编码器、CTC线性变换层和非自回归解码器。本发明通过对输入的音频段进行逐段的非自回归解码，实现了流式推理速度的提升。避免了语言建模能力的损失。

技术领域

本发明属于电子信号处理技术领域，尤其涉及一种基于非自回归模型的流式语音识别系统及方法。

背景技术

语音识别作为人机交互的入口，在辅助机器获取外部信息以及提高人机交互体验方面具有重要的应用价值。流式语音识别方法通常采用基于自回归模型的模型进行实现，常见的模型包括RNN-Transducer模型和基于注意力机制的编码解码模型，其解码器从起始符号开始，在编辑器输出的基础上，逐步或者逐帧地预测出对应的文本序列，直到预测到结束标记为止。这种自回归式解码的解码方式依赖于过去时间生成的标记，这种时序依赖特性严重影响了解码的效率，也很难通过并行计算来进一步优化推理速度。非自回归语音识别方法已经在非流式语音识别任务中获得了突破性进展，其极快的推理效率获得了很多关注，本发明针对流式识别自回归解码慢的问题，将非自回归技术引入其中，首创了基于非自回归模型的流式语音识别方法。

发明内容

本发明目的在于提供一种基于非自回归模型的流式语音识别系统及方法，以解决现有的语音识别解码的效率低，语音识别实时性差的技术问题。

为解决上述技术问题，本发明的一种基于非自回归模型的流式语音识别系统及方法的具体技术方案如下：

一种基于非自回归模型的流式语音识别系统，包括：依次相互连接的声学特征序列提取模块、流式声学编码器、CTC线性映射层和非自回归解码器；

所述声学特征序列提取模块，用于对输入语音序列进行特征提取；

所述流式声学编码器，用于将输入语音序列转换进行流式编码，并输出声学编码状态序列；

所述CTC线性映射层，用于计算得到CTC输出概率分布，辅助确定文本标记位置；

所述非自回归解码器，用于对块状声学编码状态子序列进行非自回归解码。

本发明还公开了一种基于非自回归模型的流式语音识别方法，包括如下步骤：

S11，获取语音训练数据与对应文本数据构成语音-文本对作为训练数据，并提取声学特征序列；

S12，将声学特征序列输入流式声学编码器中，通过前向计算，输出声学编码状态序列；

S13，将声学编码状态序列输入CTC线性变换层计算得到CTC输出概率分布，并结合文本标注计算联结时序损失，即CTC损失；

S14，根据维特比算法利用CTC输出概率分布将声学编码状态序列与对应的文本标记序列进行对齐，确定文本标记序列在声学编码状态序列中的位置，并进行记录；

S15，将声学编码状态划分为等长且不重叠的声学编码特征块，如果有文本标记位于本块内部，则将本块声学特征子序列、先前声学编码特征块对应的文本标记序列以及固定长度的空白填充标记序列作为非自回归解码器输入，计算出非自回归概率分布；

S16，将每块对应的非自回归概率分布与每块对应的文本标记分别计算交叉熵损失，并进行求和，得到联合非自回归交叉熵损失L_CE；

S17，将联结时序损失和联合非自回归交叉熵损失进行加权，根据两者的联合损失计算梯度，进行反向传播；