[发明专利]用于车辆的多模态交互方法、存储介质以及电子设备

说明书

本发明提供了一种用于车辆的多模态交互方法、存储介质以及电子设备，在多模态交互方法中，可对车内语音信号进行自然语言处理识别以得到文本对应的意图描述和文本中包括的词槽，同时可对车内图像进行动作识别以得到动作类型，进而基于文本对应的意图描述和动作类型对应的意图描述进行融合处理以得到融合后的意图。使用本发明可以在语音交互的基础上，通过对车内图像进行动作识别后的动作类型来判断用户意图，使得车机语音交互系统能够融合语音和动作的多模态进行用户意图的理解，进而更准确理解用户意图，以便更好地和用户进行交互，从而提升用户体验。

技术领域

本发明涉及人工智能算法技术领域，特别是涉及一种用于车辆的多模态交互方法、存储介质以及电子设备。

背景技术

现有的车机语音交互系统一般通过语音和用户进行交互，其主要是由语音识别模块、自然语言处理模块、对话管理模块、命令意图处理模块、回复生成模块以及文字转语音模块构成。

语音识别模块在对车内语音信号进行语音识别处理时，由于车内通常存在各种噪声，例如，路噪、风噪、发动机等机械构件噪声等，这些噪声会和用户发出的语音命令叠加，容易造成语音识别模块识别错误，从而导致车机语音交互系统不能正确理解用户意图，用户体验较差。此外，车内除了存在噪声外，还存在噪声以外的其它声音，例如，交谈声音、手机播放的音乐声等与用户命令语音无关的背景语音，这样一来，车机语音交互系统在和用户进行语音交互时，不能够准确分辨出用户命令语音和背景语音，从而也会导致车机语音交互系统不能正确理解用户意图，降低了用户使用体验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的用于车辆的多模态交互方法、存储介质以及电子设备。

本发明的一个的目的是要融合语音信号对应的意图描述和动作类型对应的意图描述来准确判断用户的意图，以便更准确、更方便的和用户交互。

本发明的一个进一步的目的是通过将动作类型对应的动作与预设场景下的预期动作进行比较来判断动作是否有效，从而更好的理解用户意图。

本发明的又一个进一步的目的是在特定的预设场景下开启图像采集设备以采集车内图像，避免图像采集设备一直处于开启状态导致资源浪费。

特别地，本发明提供了一种用于车辆的多模态交互方法，其包括：

基于获取到的车内语音信号进行自然语言处理识别，得到文本对应的意图描述和文本中包括的词槽，该文本为基于获取到的车内语音信号进行语音转文字处理后得到的文本；

基于获取到的车内图像进行动作识别，得到动作类型，并确定与动作类型对应的意图描述；

基于文本对应的意图描述和动作类型对应的意图描述融合处理，得到融合后的意图描述，并确定与融合后的意图描述对应的内容服务商；

将融合后的意图描述和文本中包括的词槽发送至内容服务商，接收内容服务商基于融合后的意图描述和文本中包括的词槽反馈的查询结果；

基于查询结果生成对话命令格式的查询内容。

可选地，基于文本对应的意图描述和动作类型对应的意图描述进行融合处理，得到融合后的意图描述包括：

判断动作类型对应的动作是否有效；

若有效，则将文本对应的意图描述和动作类型对应的意图描述进行融合，得到融合后的意图描述；

若无效，则将文本对应的意图描述作为融合后的意图描述。

可选地，判断动作类型对应的动作是否有效包括：

获取当前对话的对话信息，对话信息包括垂域、场景描述、对话状态和支持动作；

根据对话信息判断当前对话的场景是否为预设场景；