[发明专利]音频识别方法、装置、设备及存储介质

权利要求书

1.一种音频识别方法，其中，所述方法包括：

获取多路原始音频信号，每路原始音频信号包括多帧原始音频信号；

将所述多路原始音频信号作为第一注意力机制的输入，所述第一注意力机制用于根据每路原始音频信号中的每帧原始音频信号在时间维度上的上下文信息、所述多路原始音频信号中时间相同的多帧原始音频信号之间的第一关联性、以及所述时间相同的多帧原始音频信号各自的上下文信息分别与所述时间相同的多帧原始音频信号中每帧原始音频信号的第二关联性，输出多路目标音频信号；

将所述多路目标音频信号进行融合得到单通道融合结果；

根据所述多路目标音频信号、所述单通道融合结果和当前已从所述多路原始音频信号中识别出的第一文本信息，预测所述第一文本信息后续的第二文本信息。

2.根据权利要求1所述的方法，其中，所述每帧原始音频信号在时间维度上的上下文信息包括所述每帧原始音频信号的至少一帧历史音频信号和至少一帧将来音频信号。

3.根据权利要求2所述的方法，其中，所述至少一帧历史音频信号的帧数和所述至少一帧将来音频信号的帧数相同，所述帧数是由音频采集阵列中第一音频采集装置接收音频信号的时间和第二音频采集装置接收所述音频信号的时间之差决定的，所述第一音频采集装置是所述音频采集阵列中最早接收到所述音频信号的音频采集装置，所述第二音频采集装置是所述音频采集阵列中最晚接收到所述音频信号的音频采集装置。

4.根据权利要求1所述的方法，其中，所述第一注意力机制包括第一线性层、第二线性层、第三线性层；

根据每路原始音频信号中的每帧原始音频信号在时间维度上的上下文信息、所述多路原始音频信号中时间相同的多帧原始音频信号之间的第一关联性、以及所述时间相同的多帧原始音频信号各自的上下文信息分别与所述时间相同的多帧原始音频信号中每帧原始音频信号的第二关联性，输出多路目标音频信号，包括：

将所述多路原始音频信号经过所述第一线性层处理得到第一中间结果；

将所述每路原始音频信号中的每帧原始音频信号在时间维度上的上下文信息和所述多路原始音频信号经过所述第二线性层处理得到第二中间结果；

将所述每路原始音频信号中的每帧原始音频信号在时间维度上的上下文信息和所述多路原始音频信号经过所述第三线性层处理得到第三中间结果；

根据所述第一中间结果和所述第二中间结果，确定所述多路原始音频信号中时间相同的多帧原始音频信号之间的第一关联性、以及所述时间相同的多帧原始音频信号各自的上下文信息分别与所述时间相同的多帧原始音频信号中每帧原始音频信号的第二关联性；

根据所述第三中间结果、所述第一关联性和所述第二关联性，输出所述多路目标音频信号。

5.根据权利要求1所述的方法，其中，将所述多路目标音频信号进行融合得到单通道融合结果，包括：

将所述多路目标音频信号依次通过多个卷积层进行融合后得到所述单通道融合结果。

6.根据权利要求1所述的方法，其中，根据所述多路目标音频信号、所述单通道融合结果和当前已从所述多路原始音频信号中识别出的第一文本信息，预测所述第一文本信息后续的第二文本信息，包括：

针对所述多路目标音频信号中的任一路目标音频信号，将所述任一路目标音频信号的表示向量和所述第一文本信息的表示向量进行融合，得到所述任一路目标音频信号对应的第一文本序列的表示向量；

将所述单通道融合结果的表示向量和所述第一文本信息的表示向量进行融合，得到所述单通道融合结果对应的第二文本序列的表示向量；

将所述多路目标音频信号分别对应的第一文本序列的表示向量、以及所述第二文本序列的表示向量作为第二注意力机制的输入，所述第二注意力机制的结构与所述第一注意力机制的结构相同；

将所述第二注意力机制输出的多个第三文本序列分别对应的表示向量进行融合得到目标文本序列的表示向量；

根据所述目标文本序列的表示向量，预测所述第一文本信息后续的第二文本信息。