[发明专利]用于车辆的多模态交互方法、存储介质以及电子设备

权利要求书

1.一种用于车辆的多模态交互方法，其特征在于，包括：

基于获取到的车内语音信号进行自然语言处理识别，得到文本对应的意图描述和文本中包括的词槽，所述文本为基于获取到的所述车内语音信号进行语音转文字处理后得到的文本；

基于获取到的车内图像进行动作识别，得到动作类型，并确定与所述动作类型对应的意图描述；

基于所述文本对应的意图描述和所述动作类型对应的意图描述进行融合处理，得到融合后的意图描述，并确定与所述融合后的意图描述对应的内容服务商；

将所述融合后的意图描述和所述词槽发送至所述内容服务商，接收所述内容服务商基于所述融合后的意图描述和所述词槽反馈的查询结果；

基于所述查询结果生成对话命令格式的查询内容；

其中，所述基于所述文本对应的意图描述和所述动作类型对应的意图描述进行融合处理，得到融合后的意图描述包括：

获取当前对话的对话信息，所述对话信息包括垂域、场景描述、对话状态和支持动作；

根据所述对话信息判断所述当前对话的场景是否为预设场景；

在判定所述当前对话的场景为所述预设场景时，将所述动作和所述预设场景下的预期动作进行比较，判断所述动作与所述预期动作是否相匹配；

在所述动作与所述预期动作相匹配时，判定所述动作类型对应的动作有效，并判断所述文本对应的意图描述和所述动作类型对应的意图描述是否相符合；

若不符合，则选择所述动作类型对应的意图描述作为所述融合后的意图描述；

若符合，则选择所述文本对应的意图描述或所述动作类型对应的意图描述作为所述融合后的意图描述；

在所述动作与所述预期动作不匹配时，判定所述动作类型对应的动作无效，将所述文本对应的意图描述作为所述融合后的意图描述。

2.根据权利要求1所述的用于车辆的多模态交互方法，其特征在于，所述获取当前对话的对话信息包括：

获取所述当前对话的历史对话的历史文本对应的意图描述和所述历史文本中包括的历史词槽，所述历史文本为基于历史获取到的车内语音信号进行语音转文字处理后得到的历史文本；

根据所述历史文本对应的意图描述和所述历史词槽，以及所述文本对应的意图描述和所述词槽，获取所述当前对话的对话信息。

3.根据权利要求1所述的用于车辆的多模态交互方法，其特征在于，在判定所述当前对话的场景为所述预设场景之后，还包括：

控制开启图像采集设备以采集车内图像。

4.根据权利要求1所述的用于车辆的多模态交互方法，其特征在于，基于获取到的车内语音信号进行自然语言处理识别，得到文本对应的意图描述和文本中包括的词槽包括：

将所述车内语音信号转换成所述文本；

对所述文本进行分类处理，得到所述文本的至少一个类别标签以及该至少一个类别标签的置信度；

根据所述置信度从所述至少一个类别标签中选择最佳的类别标签作为所述文本对应的意图描述；

对所述文本进行命名实体识别处理，得到所述词槽。

5.根据权利要求1所述的用于车辆的多模态交互方法，其特征在于，所述基于所述查询结果生成对话命令格式的查询内容包括：

按照预设的特定用户命令对所述查询结果进行调整；

基于调整后的查询结果生成所述对话命令格式的查询内容。

6.一种存储介质，其特征在于，所述存储介质存储有计算机程序代码，当所述计算机程序代码在计算设备上运行时，导致所述计算设备执行权利要求1-5中任一项所述的用于车辆的多模态交互方法。

7.一种电子设备，其特征在于，包括：

处理器；

存储器，存储有计算机程序代码，当所述计算机程序代码被所述处理器运行时，导致所述电子设备执行权利要求1-5中任一项所述的用于车辆的多模态交互方法。