[发明专利]语音识别和语义理解的一体化方法、系统和电子设备

说明书

本发明实施例提供一种语音识别和语义理解的一体化方法、系统和电子设备。该方法包括：对实时检测到的用户语音进行语音识别，得到用户语音的实时识别文本；将实时识别文本输入至语义完整度判决模块；若实时识别文本具有完整语义，对实时识别文本语义解析，得到实时识别文本对应的实时语义解析结果；当检测到用户语音停止时，通过语音识别得到最终识别文本，将最终识别文本与实时识别文本进行对比，若相同，则将实时识别文本对应的实时语义解析结果确定为用户语音的最终语义解析结果。本发明实施例节省语义理解的处理时间，既保证了尽量早的提前请求语义，减少链路整体耗时，同时也保证了语义结果的完整性，能够作为准确有效的语义结果。

技术领域

本发明涉及智能语音领域，尤其涉及一种语音识别和语义理解的一体化方法、系统和电子设备。

背景技术

在口语对话交互系统中，语音识别模块和语义理解模块是独立的、串行的。搭载语音识别模块和语义理解模块的智能设备实时采集语音信号，当用户的语音输入，首先经过语音端点检测(Voice Activity Detection,VAD)从语音信号中判断有效语音段的开始和结束，之后经过语音识别模块将有效语音段识别为文本，然后经过语义理解模块将该文本转换为语义理解的结果(包含意图、槽位等信息)，将得到的语义理解结果用于下游任务或者直接输出。

具体的口语对话交互流程为：

用户的语音输入经过语音端点检测模块判断有效语音段的开始和结束，若检测到有效语音的开始信号，则将该有效语音信号输入到后续的识别模块；若检测到语音输入结束时向后续识别模块发送结束信号，从而结束语音识别；

语音信号输入语音识别引擎，将语音信号转化为对应的文本；

将识别出来的文本输入到语义理解引擎，目的是理解用户所说的话的含义，将文本转化为对应的语义信息，典型的语义信息包含意图和槽位等；

将语义解析结果输入到下游任务，比如对话管理任务，完成对话交互。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

由于上述交互流程是串行的，语音信号需要先经过端点检测模块检测有效音频的起始点，之后经过语音识别引擎的处理，得到识别文本，然后再把该识别文本输入到语义理解引擎，得到供下游任务使用的语义解析结果。此时链路的整体延时等于语音识别的处理延时加上语义理解的处理延时，因此延时较高。

不仅如此，端点检测模块在检测用户语音结束之后，确定有效语音的结束时间点，而该时间点有一定的滞后性，而滞后的时间是由于端点检测算法自身所带有的不能省略，这进一步的加剧了整个对话过程的延迟，影响了用户语音交互体验。

发明内容

为了至少解决现有技术中语音对话整体存在延迟的问题。第一方面，本发明实施例提供一种语音识别和语义理解的一体化方法，包括：

对实时检测到的用户语音进行语音识别，得到所述用户语音的实时识别文本；

将所述实时识别文本输入至语义完整度判决模块，用于判断所述实时识别文本是否具有完整语义；

若所述实时识别文本具有完整语义，对所述实时识别文本进行语义解析，得到所述实时识别文本对应的实时语义解析结果；

当检测到所述用户语音停止时，通过所述语音识别得到最终识别文本，将所述最终识别文本与所述实时识别文本进行对比，若对比结果为相同，则将所述实时识别文本对应的实时语义解析结果确定为所述用户语音的最终语义解析结果。

第二方面，本发明实施例提供一种语音识别和语义理解的一体化系统，包括：

语音识别程序模块，用于对实时检测到的用户语音进行语音识别，得到所述用户语音的实时识别文本；