[发明专利]跨领域语音识别中端到端的语音的置信度估计方法及装置

说明书

本发明涉及跨领域语音处理技术领域，具体提供一种跨领域语音识别中端到端的语音的置信度估计方法及装置，旨在解决其它领域与声学及语音识别领域的差异导致跨领域语音识别中端到端的的语音的置信度估计效果较差的问题。为此目的，本发明的跨领域语音识别中端到端的语音的置信度估计方法包括：提取跨领域音频数据的声学特征向量；将声学特征向量输入编码器得到对应的编码特征；将编码特征输入解码器，输出对应的语音识别结果；将语音识别结果输入训练好的跨领域语言模型，得到跨领域语言特征；将语音识别结果和跨领域语言特征输入跨领域置信度特征提取层，输出跨领域置信度特征；将跨领域置信度特征输入置信度估计模块，输出对应的置信度。

技术领域

本发明涉及跨领域语音处理技术领域，具体提供一种跨领域语音识别中端到端的语音的置信度估计方法及装置、控制装置和存储介质。

背景技术

语音识别是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的人工智能技术。置信度估计是语音识别系统常用的一种估计方法，经常用来对语音识别的错误进行筛选，作为语音识别系统不确定性的指示，置信度分数还经常用于模型融合、半监督伪标签选择等方法。

在传统的语音识别系统中，解码工程中利用词图信息，可以获得可靠的置信度分数。利用发音持续时间、语言模型等信息，可以进一步提高置信度估计的准确性。近年来，基于端到端的语音识别系统在识别性能上逐步超过传统模型，但是由于端到端系统在解码过程中无法直接利用词图信息和语言模型的信息，端到端语音识别系统通常是通过将解码器每一步的softmax概率作为输出字符的置信度估计分数。然而，基于softmax概率进行置信度估计，存在过度自信的问题，即使识别率差的字符，输出的置信分数也会比较高，因此使用softmax概率进行置信度估计在实际中应用效果很不理想，在跨领域的场景下，由于领域在声学及语言信息方面均存在一定差异，因此在跨领域的情况下，端到端语音识别系统的识别率会有一定程度的下降，而由于常见的端到端语音识别系统置信度估计是直接或者间接利用解码器的输出，因此在跨领域的情况下端到端语音识别系统置信度估计准确度会进一步下降。

相应地，本领域需要一种新的跨领域语音识别中端到端的语音的置信度估计方案来解决上述问题。

发明内容

本发明旨在解决上述技术问题，即，解决其它领域与声学及语音识别领域存在一定差异，导致跨领域语音识别中端到端的的语音的置信度估计效果较差的问题，即存在识别率差的字符，导致最终输出的置信分数较高的问题，本发明提供了一种跨领域语音识别中端到端的语音的置信度估计方法及装置、控制装置和存储介质。

在第一方面，本发明提供一种跨领域语音识别中端到端的语音的置信度估计方法，该方法包括：

提取跨领域音频数据的声学特征向量；

将所述声学特征向量输入编码器得到对应的编码特征；

将所述编码特征输入解码器，输出对应的语音识别结果；

将所述语音识别结果输入训练好的跨领域语言模型，得到跨领域语言特征；

将所述语音识别结果和所述跨领域语言特征输入跨领域置信度特征提取层，输出跨领域置信度特征；

将所述跨领域置信度特征输入置信度估计模块，输出对应的置信度。

在上述跨领域语音识别中端到端的语音的置信度估计方法的一个技术方案中，所述跨领域置信度特征提取层包括第一特征提取层和第二特征提取层。

在上述跨领域语音识别中端到端的语音的置信度估计方法的一个技术方案中，所述将所述语音识别结果和所述跨领域语言特征输入跨领域置信度特征提取层，输出跨领域置信度特征，包括：

其中，P为跨领域置信度特征，M为跨领域语言特征，y为语音识别结果，f(·)为第一特征提取层，g(·)为第二特征提取层。