[发明专利]一种多模态控制方法、装置和系统

说明书

本发明公开了一种多模态控制方法，包括：创建步骤，创建多模态控制输入层、消歧分析层和输出层；接收输入信息步骤，所述输入层接收至少一种输入信息，生成多模态瀑布流消息；消歧处理步骤，所述消歧控制层从所述输入层接收所述多模态瀑布流消息，对所述多模态瀑布流进行消歧处理和分析，生成控制消息发送给所述输出层；生成控制命令步骤，所述输出层从所述消歧分析层接收所述控制消息；输出控制命令步骤，所述输出层向被控设备输出控制命令，实现对被控设备的控制。本发明的方法能够通过一个或多个用户的多模态输入，生成控制指令实现对车载设备的精确控制，使得用户不必操作复杂的按键，提高了驾驶体验和驾驶过程中的安全性。

技术领域

本发明实施例涉及智能控制技术领域，特别涉及一种多模态控制方法、装置和系统。

背景技术

目前，随着语音识别技术的发展，对设备的控制逐渐智能化，例如在智能驾驶中，通过捕捉用户的语音、手势、眼部活动等信息，将其转化为控制指令实现对车辆的智能控制，通过解放人的双手和双眼降低驾驶难度实现智能驾驶。

但是，目前的智能驾驶技术的实现仍然基于传统的汽车架构和车内功能按键布局，虽然各个车型针对同一功能的控制按键存在形状、位置、操作方式上的区别，但是基本上针对同一功能的控制按键具有相似的布局。例如，所有汽车的车窗按键组基本都包括至少四个按键来分别控制左前、左后、右前、右后这四块窗户玻璃，后视镜按键组也基本都包括两个按键或者两个键位来分别对左、右两块后视镜进行调节。

上述提到的，目前车辆中多个功能按键的设置方式导致车内按键众多，驾驶员操作不方便，也带来了安全隐患，同时影响内部布局的美观性。并且，随着智能驾驶技术的发展，功能的触发将不依赖于现有的某些按键，使得这些按键没有保留的必要。

发明内容

针对现有技术中的问题，本发明提供一种多模态控制方法、装置和系统。

本发明提供一种多模态控制方法，所述方法包括，创建多模态控制输入层、消歧分析层和输出层，所述输入层接收至少一种输入信息，所述输入层根据所述至少一种输入信息生成多模态瀑布流消息；所述消歧控制层从所述输入层接收所述多模态瀑布流消息，对所述多模态瀑布流进行消歧处理和分析，生成控制消息发送给所述输出层；所述输出层从所述消歧分析层接收所述控制消息，并向被控设备输出控制命令，实现对被控设备的控制。

进一步的，所述多模态瀑布流消息为多个模态的输入消息按照一定顺序组成的连续输入消息流。所述消歧控制层从所述多模态瀑布流消息中的提取连续输入指令，对所述连续输入指令进行消歧分析。

优选的，所述连续输入指令为连续输入控制指令。

进一步的，所述输入信息为针对被控设备的控制信息，至少一种控制信息包括用户的语音控制信息、用户的姿势控制信息、图像控制信息和物理按键控制信息。优选的，所述用户的姿态控制信息包括手势、身体姿势或二者的组合；所述图像控制信息包括眼球图像。可选的，所述输入信息来自一个或多个用户。

可选的，所述被控设备为车辆中的部件，包括：车灯、车窗、雨刷、后视镜、空调和/或车载娱乐设备。

进一步的，所述输入信息由信息采集设备进行采集，所述信息采集设备可以为多个单模态信息采集设备，可以为一个或多个多模态信息采集设备。

优选的，所述信息采集设备包括但不限于传感器、摄像头、音频采集设备等。

进一步的，所述消歧控制层对所述连续输入指令进行消歧分析具体包括下面一种或多种方式：对多模态瀑布流消息进行模态识别；剔除多模态瀑布流消息中的重叠部分；对多模态瀑布流消息中的各模态消息进行关联性梳理；对多模态瀑布流消息进行时间顺序梳理；根据所述多模态瀑布流消息生成指令组。

可选的，所述消歧控制层在执行上述一种或多种步骤时，可以采用一种或多种顺序。