[发明专利]车载语音交互方法、系统及计算机可读介质

说明书

本发明提供了一种车载语音交互方法、系统及计算机可读介质。其中方法包括获取显示界面信息，从所述显示界面信息中提取图片；获取用户的语音指令，将所述语音指令转换为语音文本；将所述语音文本和所述图片输入视觉语言模型，计算所述语音文本与所述图片的语义匹配度；判断所述语义匹配度是否高于预设阈值，如果是，则通过辅助模块对所述图片进行模拟点击操作。本发明实现对显示界面的图片控件的语音控制，使得车载可见即可说的功能更加完善，提高用户体验。

技术领域

本发明主要涉及语音技术领域，尤其涉及一种车载语音交互方法、系统及计算机可读介质。

背景技术

随着语音交互技术的快速发展，可见即可说正在成为主流车载智能设备的标配功能。可见即可说是指用户通过语音描述控件，通过语音实现用户手工点击动作。

目前，可见即可说功能只能对显示界面中的带有文本的控件进行语音控制，例如根据歌名或视频名称播放音频或视频。对于显示界面中的图片控件，仅能通过用户的触摸操作实现，无法通过语音指令进行控制。例如，当用户需要点击某个视频封面播放视频时，无法通过语音控制播放视频。

发明内容

本发明要解决的技术问题是提供一种车载语音交互方法、系统及计算机可读介质，解决现有的可见即可说功能不支持语音控制图片控件的问题。

为解决上述技术问题，本发明提供了一种车载语音交互方法，包括：获取显示界面信息，从所述显示界面信息中提取图片；获取用户的语音指令，将所述语音指令转换为语音文本；将所述语音文本和所述图片输入视觉语言模型，计算所述语音文本与所述图片的语义匹配度；判断所述语义匹配度是否高于预设阈值，如果是，则通过辅助模块对所述图片进行模拟点击操作。

可选地，所述视觉语言模型计算所述语音文本与所述图片的语义匹配度包括：提取所述语音文本的文本特征；判断缓存单元中是否存在所述图片对应的图片特征，如果是，则从所述缓存单元获取所述图片特征；根据所述文本特征和所述图片特征计算所述语义匹配度。

可选地，方法还包括：如果所述缓存单元中不存在所述图片对应的图片特征，则判断数据库中是否存在所述图片对应的图片特征，如果是，则从所述数据库获取所述图片特征，如果否，则提取所述图片的所述图片特征。

可选地，根据所述文本特征和所述图片特征计算所述语义匹配度包括：将所述图片特征输入自注意力机制获得优化图片特征；将所述文本特征输入自注意力机制获得优化文本特征；将所述优化文本特征和所述优化图片特征经过交叉注意力得到所述语义匹配度。

可选地，所述图片包括音频封面和视频封面。

为解决上述技术问题，本发明提供了一种车载语音交互系统，包括：图片获取模块，用于获取显示界面信息，从所述显示界面信息中提取图片；文本获取模块，用于获取用户的语音指令，将所述语音指令转换为语音文本；视觉语言模型，用于接收所述语音文本和所述图片，计算所述语音文本与所述图片的语义匹配度；判断模块，用于判断所述语义匹配度是否高于预设阈值，如果是，则向辅助模块发送通知；辅助模块，用于接收所述通知并根据所述通知对所述图片进行模拟点击操作。

可选地，所述视觉语言模型包括：缓存单元，用于存储图片的图片特征；文本编码器，用于提取所述语音文本的文本特征；图片编码器，用于判断所述缓存单元中是否存在所述图片对应的图片特征，如果是，则从所述缓存单元获取所述图片特征；跨模态编码器，用于根据所述文本特征和所述图片特征计算所述语义匹配度。

可选地，系统还包括：数据库，用于存储多个缓存单元的图片特征；所述图片编码器还用于当所述缓存单元中不存在所述图片对应的图片特征时，判断所述数据库中是否存在所述图片对应的图片特征，如果是，则从所述数据库获取所述图片特征，如果否，则提取所述图片对应的图片特征。