[发明专利]基于参数共享非自回归语音识别训练解码方法及系统

说明书

本发明公开了基于参数共享非自回归语音识别训练解码方法及系统，训练方法：提取语音训练数据的特征，构成声学特征序列；将声学特征序列进行声学编码，输出声学编码状态序列；将声学编码状态序列和空白填充序列进行非自回归解码，结合文本标注训练数据，计算非自回归交叉熵损失；将声学编码状态序列和文本标注训练数据进行自回归解码，结合文本标注训练数据，计算自回归交叉熵损失；根据非自回归交叉熵损失和自回归交叉熵损失加权，得到联合损失，计算梯度，并进行反向传播；循环执行，直至训练完成；解码方法：通过训练好的模型进行语音识别；系统包括声学特征序列提取模块、声学编码器、非自回归解码器、自回归解码器、联合损失计算模块。

技术领域

本发明涉及电子信号处理技术领域，尤其是涉及了基于参数共享非自回归语音识别训练解码方法及系统。

背景技术

语音识别作为人机交互的入口，是人工智能领域中一个重要的研究方向。端到端语音识别丢弃了混合语音识别模型依赖的发音词典、语言模型和解码网络，实现了音频特征序列到文字序列的直接转换。经典的编码解码模型使用字自回归方式进行解码，其编码器将输入语音编码为高层次的特征表示；解码器从起始符号开始，在编辑器输出的基础上，逐步的预测出对应的文本序列，直到预测到结束标记为止。自回归解码的时序依赖特性严重影响了解码的效率，并且很难通过GPU并行计算来进行加速，使得自回归模型部署于实时性要求比较高的场景有了一定的局限性。非自回归模型大大提高了解码效率，其可以直接将声学编码状态序列转换为目标文本序列，不需要逐步解码。然而非自回归模型面临着训练困难等问题，以及其识别准确率距离自回归模型还有一些差距。

发明内容

为解决现有技术的不足，加速非回归模型训练速度，缩小非自回归模型与自回归模型识别准确率之间的差距，本发明采用如下的技术方案：

基于参数共享非自回归语音识别训练方法，包括如下步骤：

S11，获取语音训练数据和对应的文本标注训练数据，并提取一系列语音训练数据的特征，构成声学特征序列；

S12，将声学特征序列进行声学编码，输出声学编码状态序列；

S13，将声学编码状态序列和空白填充序列进行非自回归解码，通过解码输出的概率矩阵，结合文本标注训练数据，计算非自回归交叉熵损失L_NAR；

S14，将声学编码状态序列和文本标注训练数据，即带有起始标记的目标文本序列进行自回归解码，通过解码输出的概率矩阵，结合文本标注训练数据，计算自回归交叉熵损失L_AR；

S15，根据非自回归交叉熵损失L_NAR和自回归交叉熵损失L_AR加权，得到联合损失L_Joint＝αL_NAR+(1-α)L_AR计算梯度，并进行反向传播，α表示非自回归交叉熵损失在联合损失函数中的权重，α的值为0.3～0.5时效果最好；

S16，循环执行S12至S15，直至达到预设的训练结束条件，完成训练。

进一步地，所述自回归解码，依次进行词嵌入、位置编码、6层自回归解码层解码和1层输出映射，自回归解码层包括遮蔽多层自注意力机制层、多头注意力机制层和前馈映射层，将带有起始标记的目标文本序列进行词嵌入，得到的词嵌入表示序列添加位置编码后，输入到遮蔽多层自注意力机制层，每层遮蔽自注意力机制的计算如下：

其中，Q表示查询值、K表示关键值、V表示内容值，d_k是向量K的维度，M表示一个上三角矩阵，对角线上方元素为-INF，在计算机中表示负无穷小，其对应位置通过softmax计算后变成0，以此实现对于特定位置信息的遮蔽操作，对角线下方元素为0，多头注意力机制层将多个遮蔽自注意力机制的输出向量拼接到一起，再通过前馈映射层得到输出结果。