[发明专利]语音处理方法、模型训练方法、界面显示方法及设备

权利要求书

1.一种语音处理方法，其特征在于，包括：

对采集到的待识别语音进行语音识别，得到声学信息和文本信息；

根据所述声学信息和所述文本信息，利用训练好的检测模型获得检测结果；其中，所述检测模型包括第一网络、第二网络以及第三网络；所述第一网络用于对所述声学信息进行特征提取，得到声学特征；所述第二网络用于对所述文本信息进行特征提取，得到文本特征；所述第三网络用于融合所述声学特征和所述文本特征，得到融合特征；并根据所述融合特征，检测所述待识别语音是否结束；

根据所述检测结果，执行相应操作。

2.根据权利要求1所述的方法，其特征在于，融合所述声学特征和所述文本特征，得到融合特征，包括：

拼接所述声学特征和所述文本特征，得到拼接特征；

根据所述拼接特征，确定融合特征。

3.根据权利要求1所述的方法，其特征在于，根据所述拼接特征，确定融合特征，包括：

根据所述拼接特征，预测所述声学特征对应的第一权重以及所述文本特征对应的第二权重；

根据所述声学特征、所述文本特征、所述第一权重以及所述第二权重，确定所述融合特征。

4.根据权利要求1至3中任一项所述的方法，其特征在于，对所述文本信息进行特征提取，得到文本特征，包括：

获取多个文本单元各自对应的第一向量；其中，所述文本信息由所述多个文本单元按序组成；

针对每一个文本单元，综合所述多个文本单元各自对应的第一向量，通过上下文语义融合得到每一个文本单元对应的第二向量；

根据所述多个文本单元各自对应的第二向量，确定所述文本特征。

5.根据权利要求4所述的方法，其特征在于，所述多个文本单元中包括第一文本单元；

针对所述第一文本单元，综合所述多个文本单元各自对应的第一向量，通过上下文语义融合得到所述第一文本单元对应的第二向量，包括：

分别对所述多个文本单元各自对应的第一向量进行特征提取，得到所述多个文本单元各自对应的第三向量；

根据所述多个文本单元中各文本单元对应的第一向量，计算所述多个文本单元中各文本单元与所述第一文本单元的语义相关性；

根据所述语义相关性以及所述多个文本单元各自对应的第三向量，确定所述第一文本单元对应的第二向量。

6.根据权利要求4所述的方法，其特征在于，在对所述文本信息进行特征提取，得到文本特征的步骤之前，还包括：

在所述文本信息的开始位置处添加第一字符，在所述文本信息的结束位置处添加第二字符，得到处理后的文本信息；

其中，所述处理后的文本信息由所述多个文本单元按序组成；其中，所述多个文本单元中排在首位的为所述第一字符；所述多个文本单元中排在末位的为所述第二字符。

7.根据权利要求5所述的方法，其特征在于，根据所述多个文本单元各自对应的第二向量，确定所述文本特征，包括：

将所述第一字符对应的第二向量作为所述文本特征。

8.根据权利要求1至3中任一项所述的方法，其特征在于，所述待识别语音中包括多个音频帧；

所述声学信息中包括所述多个音频帧各自对应的帧向量；

对所述声学信息进行特征提取，得到声学特征，包括：

堆叠所述多个音频帧各自对应的帧向量，得到音频矩阵；

对所述音频矩阵进行卷积处理，得到至少一个卷积后矩阵；

根据所述至少一个卷积后矩阵，得到所述声学特征。

9.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述融合特征，检测所述待识别语音是否结束，包括：

根据所述融合特征，对所述待识别语音进行分类；

根据分类结果，确定所述待识别语音是否结束。