[发明专利]端对端语音识别方法、电子装置及计算机可读存储介质

摘要

本发明涉及语音识别技术领域，公开了一种端对端语音识别方法，包括：获取包含多个说话人的第一混合语音信号以及标签序列作为训练样本；构建基于Encoder‑Decoder架构的神经网络模型；训练所述神经网络模型；获取待识别的包括多个说话人的第二混合语音信号；将第二混合语音信号输入经过训练的神经网络模型，输出分别与每个说话人相对应的文本信息。本发明对于包含多个说话人同时发声形成的混合语音源输入，输出分别与每个说话人相对应的发音内容，而无需包含明显的语音分割阶段，从单声道混合语音中生成多个独立的输出，精简语音识别过程，减少计算量。本发明还公开了一种电子装置和计算机可读存储介质。

主权项

1.一种端对端语音识别方法，应用于电子装置，其特征在于，所述端对端语音识别方法包括以下步骤：步骤S1、获取包含多个说话人的第一混合语音信号以及与第一混合语音信号对应的标签序列作为训练样本；步骤S2、构建基于Encoder‑Decoder架构的神经网络模型，所述神经网络模型包括编码网络和解码网络；步骤S3、将第一混合语音信号输入构建的神经网络模型中，训练所述神经网络模型；步骤S4、获取待识别的包括多个说话人的第二混合语音信号；步骤S5、将第二混合语音信号输入经过训练的神经网络模型，输出分别与每个说话人相对应的文本信息；其中，所述编码网络包括：第一编码器，对所述第一混合语音信号进行处理得到第一特征序列；多个第二编码器，分别对所述第一特征序列处理，每个第二编码器均得到一个第二特征序列；多个第三编码器，每个第三编码器与一个第二编码器相对应，对第二编码器输出的第二特征序列处理，得到编码网络的输出序列，并发送至所述解码网络；所述解码网络包括：解码器，包括CTC解码器和注意力机制解码器，接收由所述第三编码器发送的输出序列，基于时序分类器CTC准则和注意力机制对所述输出序列处理，得到识别的文本信息。