[发明专利]语音指令识别的方法、装置、电子设备及存储介质

权利要求书

1.一种语音指令识别的方法，其特征在于，包括：

获取语音信号，所述语音信号包括多个语音帧；

将所述语音信号输入声学模型中，得到所述语音信号中各语音帧对应的第一音素识别结果，以及所述声学模型中的编码器输出的所述各语音帧的第一声学隐层表示向量，其中，所述第一音素识别结果包括所述各语音帧在音素空间中的概率分布，所述声学模型是通过语音信号样本，以及所述语音信号样本中各个语音帧的实际音素训练得到的；

将所述第一音素识别结果输入解码图，得到所述语音信号对应的音素序列，以及所述音素序列对应的第一时间戳；

根据所述第一声学隐层表示向量中的对应于所述第一时间戳的向量部分，确定所述音素序列是否用于触发指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一声学隐层表示向量中的对应于所述第一时间戳的向量部分，确定所述音素序列是否用于触发指令，包括：

根据所述第一时间戳，获取第二时间戳，所述第二时间戳的起始点在所述第一时间戳的起始点之前；

将所述第一声学隐层表示向量的至少部分输入音素判别器，获取所述音素判别器输出的对应于所述第二时间戳的第二音素识别结果；

将所述第二音素识别结果与所述音素序列进行对齐，得到第一置信度，其中，所述第一置信度用于表示所述第二音素识别结果与所述音素序列的对齐分数；

根据所述第一置信度，确定所述音素序列是否用于触发指令。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二音素识别结果与所述音素序列进行对齐，包括：

根据所述音素序列，获取线性解码图，其中，所述线性解码图中的所述音素序列之前加入第一符号，所述第一符号用于吸收所述第二音素识别结果中不属于所述音素序列对应的输出；

将所述第二音素识别结果输入所述线性解码图，对齐所述第二音素识别结果和所述音素序列。

4.根据权利要求2所述的方法，其特征在于，还包括：

在所述第二音素识别结果与所述音素序列对齐的情况下，获取第三时间戳，其中，所述第三时间戳的起始点为所述第二音素识别结果中与所述音素序列对齐的第一个音素对应的语音帧；

在所述第一声学隐层表示向量中，截取与所述第三时间戳对应的第二声学隐层表示向量；

将所述第二声学隐层表示向量输入解码器，得到与所述音素序列匹配的第一解码结果，以及所述第一解码结果的第二置信度；

其中，所述根据所述第一置信度，确定所述音素序列是否用于触发指令，包括：

根据所述第一置信度和所述第二置信度中的至少一个，确定所述音素序列是否用于触发指令。

5.根据权利要求4所述的方法，其特征在于，还包括：

根据所述音素序列的长度，确定所述解码器的解码序列的长度。

6.根据权利要求4所述的方法，其特征在于，所述解码器包括Transformer解码器。

7.根据权利要求4所述的方法，其特征在于，还包括：

根据所述声学模型的第一损失、所述音素判别器的第二损失和所述解码器的第三损失进行多任务联合学习，以联合训练所述声学模型、所述音素判别器和所述解码器。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一声学隐层表示向量中的对应于所述第一时间戳的向量部分，确定所述音素序列是否用于触发指令，包括：

根据所述第一时间戳，获取第二时间戳，所述第二时间戳的起始点在所述第一时间戳的起始点之前；

在所述第一声学隐层表示向量中，截取与所述第二时间戳对应的第三声学隐层表示向量；

将所述第三声学隐层表示向量输入解码器，得到与所述音素序列匹配的第二解码结果，以及所述第二解码结果的第三置信度；

根据所述第三置信度，确定所述音素序列是否用于触发指令。