[发明专利]用于车辆的指令输入方法、存储介质、系统及车辆

说明书

本发明涉及一种用于车辆的指令输入方法，其包括：接收车辆乘员的影像；从所述影像提取车辆乘员的唇部运动；通过唇语识别算法将唇部运动识别为书面文本；由所识别的书面文本产生用于车辆的指令。本发明还涉及一种用于车辆的指令输入系统，其包括：视频采集模块，用于采集车辆乘员的影像；唇部提取模块，用于从所述影像提取车辆乘员的唇部运动；唇语识别模块，用于将唇部运动识别为书面文本；指令生成模块，用于由所识别的书面文本产生用于车辆的指令。此外，本发明还涉及一种计算机可读存储介质以及一种包括所述指令输入系统的车辆。

技术领域

本发明涉及一种用于车辆的指令输入方法、一种计算机可读存储介质、一种用于车辆的指令输入系统以及一种包括所述指令输入系统的车辆。

背景技术

为了在车辆驾驶过程中避免驾驶员由于借助机械按键或触摸屏来操作车辆功能而从道路交通分心，在机动车中通常设置有语音控制功能。目前的语音控制功能依赖于人类说出的语音，而不占用驾驶员双手，并且相对于主驾驶任务使用另外的感官认知。然而，在使用该语音控制功能时，为了创造安静的环境则不得不暂时中断当前音频或视频播放。甚至，在以警报音提示车后距离或与前车的距离或速度差时，语音控制功能需要被禁止，以保证行车安全。此外，语音控制功能也时常被噪音所干扰，如车内乘员之间的交谈或车外环境噪音等。此时，驾驶员不得不重复地或提高音量并降低语速地进行语音输入，由此降低使用舒适度。

发明内容

本发明的任务在于，在车辆中提供改善的指令输入的方法和系统，其即使在嘈杂的环境中也能够进行指令输入，而无需中断其他听觉时间，而且会不使驾驶员从道路交通分心。

本发明的一个方面涉及一种用于车辆的指令输入方法，所述方法包括：

-接收车辆乘员的影像；

-从所述影像提取车辆乘员的唇部运动；

-通过唇语识别算法将唇部运动识别为书面文本；

-由所识别的书面文本产生用于车辆的指令。

按照本发明，首先可以从用于采集车辆乘员的影像的视频采集模块、特别是摄像机接收车辆乘员的动态的视频影像。接着通过图像处理从所述影像提取车辆乘员的唇部运动。在此，所述图像处理可以包括面部识别、唇部识别、唇部跟踪、特征提取等，优选地可以应用唇色滤波或唇部轮廓追踪等来提取唇部运动的序列图像。然后，通过唇语识别算法将唇部运动识别为书面文本。在此，唇语识别算法首先识别出唇部运动所对应的发音；随后根据识别出的发音，计算出可能性最大的自然语言语句。在此，还优选预设对于用于操作车辆常用词的关键词库，或者对于与操作车辆有关的词语设置更高的权重，以提高指令的识别率。此外，为了识别唇部运动所对应的发音亦可以使用多种模型，例如隐马尔可夫模型、神经网络模型、主动外观模型(AAM)或主动形状模型(ASM)等。最后，由所识别的书面文本产生用于车辆的指令。这里可以应用到语义理解、特别是自然语言理解(NLU、Natural LanguageUnderstand)，其专注于“口语表达和对话”方向的自然语言处理。自然语言理解通过完成指代消解、否定判断、语句泛化、口语归一化、文本纠错等工作，识别车内乘员所谈及的领域和意图，获得其语义信息，从而对应于车辆生成相应的操作指令。

在本文中，将驾驶员、副驾驶员、后排乘客等车内乘员统称为车辆乘员。优选地，处于车辆内部中的人员皆可通过本发明输入指令。在此，指令涉及用于操作车辆功能的指令，例如：打开或关闭车门、起动或关断马达、打开或关闭收音机、打开或关闭音乐播放器、打开或关闭视频播放器、调节音量、选择频道或曲目、指定导航目的地、打开或关闭空调、调节温度或风量、选择驾驶模式、打开或关闭自动起停功能、打开、关闭或设定自适应巡航功能、打开或关闭车灯、打开或关闭车窗、打开或关闭电动天窗、打开或关闭油箱盖、充电口或后备箱、调节车辆座椅等等。需要说明的时，本发明不限于上述指令，而是可以涉及车辆所有可操作指令。