[发明专利]车载语音交互方法、系统及计算机可读介质

权利要求书

1.一种车载语音交互方法，其特征在于，包括：

获取显示界面信息，从所述显示界面信息中提取图片；

获取用户的语音指令，将所述语音指令转换为语音文本；

将所述语音文本和所述图片输入视觉语言模型，所述视觉语言模型计算所述语音文本与所述图片的语义匹配度；

判断所述语义匹配度是否高于预设阈值，如果是，则通过辅助模块对所述图片进行模拟点击操作。

2.如权利要求1所述的方法，其特征在于，所述视觉语言模型计算所述语音文本与所述图片的语义匹配度包括：

提取所述语音文本的文本特征；

判断缓存单元中是否存在所述图片对应的图片特征，如果是，则从所述缓存单元获取所述图片特征；

根据所述文本特征和所述图片特征计算所述语义匹配度。

3.如权利要求2所述的方法，其特征在于，还包括：如果所述缓存单元中不存在所述图片对应的图片特征，则判断数据库中是否存在所述图片对应的图片特征，如果是，则从所述数据库获取所述图片特征，如果否，则提取所述图片的所述图片特征。

4.如权利要求2～3任一项所述的方法，其特征在于，根据所述文本特征和所述图片特征计算所述语义匹配度包括：

将所述图片特征输入自注意力机制获得优化图片特征；

将所述文本特征输入自注意力机制获得优化文本特征；

将所述优化文本特征和所述优化图片特征经过交叉注意力得到所述语义匹配度。

5.如权利要求1所述的方法，其特征在于，所述图片包括音频封面和视频封面。

6.一种车载语音交互系统，其特征在于，包括：

图片获取模块，用于获取显示界面信息，从所述显示界面信息中提取图片；

文本获取模块，用于获取用户的语音指令，将所述语音指令转换为语音文本；

视觉语言模型，用于接收所述语音文本和所述图片，计算所述语音文本与所述图片的语义匹配度；

判断模块，用于判断所述语义匹配度是否高于预设阈值，如果是，则向辅助模块发送通知；

辅助模块，用于接收所述通知并根据所述通知对所述图片进行模拟点击操作。

7.如权利要求6所述的系统，其特征在于，所述视觉语言模型包括：

缓存单元，用于存储图片的图片特征；

文本编码器，用于提取所述语音文本的文本特征；

图片编码器，用于判断所述缓存单元中是否存在所述图片对应的图片特征，如果是，则从所述缓存单元获取所述图片特征；

跨模态编码器，用于根据所述文本特征和所述图片特征计算所述语义匹配度。

8.如权利要求7所述的系统，其特征在于，还包括：

数据库，用于存储多个缓存单元的图片特征；

所述图片编码器还用于当所述缓存单元中不存在所述图片对应的图片特征时，判断所述数据库中是否存在所述图片对应的图片特征，如果是，则从所述数据库获取所述图片特征，如果否，则提取所述图片对应的图片特征。

9.如权利要求7～8任一项所述的系统，其特征在于，所述跨模态编码器包括：

对象关系编码单元，用于将所述图片特征输入自注意力机制获得优化图片特征；

语言编码单元，用于将所述文本特征通过自注意力机制获得优化文本特征；

跨模态计算单元，用于将所述优化文本特征和所述优化图片特征经过交叉注意力得到所述语义匹配度。

10.一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如权利要求1-5任一项所述的方法。