[发明专利]一种多模态控制方法、装置和系统

权利要求书

1.一种多模态控制方法，其特征在于，所述方法包括：创建步骤，创建多模态控制输入层、消歧分析层和输出层；接收输入信息步骤，所述输入层接收至少一种输入信息，生成多模态瀑布流消息；消歧处理步骤，所述消歧控制层从所述输入层接收所述多模态瀑布流消息，对所述多模态瀑布流进行消歧处理和分析，生成控制消息发送给所述输出层；生成控制命令步骤，所述输出层从所述消歧分析层接收所述控制消息；输出控制命令步骤，所述输出层向被控设备输出控制命令，实现对被控设备的控制。

2.如权利要求1所述的多模态控制方法，其特征在于，所述输入信息为针对被控设备的至少一种控制信息，所述控制信息包括用户的语音控制信息、用户的姿势控制信息、图像控制信息和物理按键控制信息。

3.如权利要求1所述的多模态控制方法，其特征在于，所述被控设备为车辆中的部件，包括：车灯、车窗、雨刷、后视镜、空调和/或车载娱乐设备。

4.如权利要求1所述的多模态控制方法，其特征在于，所述消歧控制层对所述连续输入指令进行消歧分析具体包括以下步骤中的一个或多个：对多模态瀑布流消息进行模态识别；剔除多模态瀑布流消息中的重叠部分；对多模态瀑布流消息中的各模态消息进行关联性梳理；对多模态瀑布流消息中的指令进行时间重构。

5.一种多模态控制装置，其特征在于，所述装置包括：多模态控制输入层、消歧分析层和输出层；所述输入层接收至少一种输入信息，所述输入层根据所述至少一种输入信息生成多模态瀑布流消息；所述消歧控制层从所述输入层接收所述多模态瀑布流消息，对所述多模态瀑布流进行消歧处理和分析，生成控制消息发送给所述输出层；所述输出层从所述消歧分析层接收所述控制消息，并向被控设备输出控制命令，实现对被控设备的控制。

6.如权利要求5所述的多模态控制装置，其特征在于，所述输入信息为针对被控设备的至少一种控制信息，所述控制信息包括用户的语音控制信息、用户的姿势控制信息、图像控制信息和物理按键控制信息。

7.如权利要求5所述的多模态控制装置，其特征在于，所述被控设备为车辆中的部件，包括：车灯、车窗、雨刷、后视镜、空调和/或车载娱乐设备。

8.如权利要求5所述的多模态控制装置，其特征在于，所述消歧控制层对所述连续输入指令进行消歧分析具体包括以下模块中的一个或多个：模态识别模块，用于对多模态瀑布流消息进行模态识别；剔除模块，用于剔除多模态瀑布流消息中的重叠部分；关联梳理模块，用于对多模态瀑布流消息中的各模态消息进行关联性梳理；时间重构模块，用于对多模态瀑布流消息中的指令进行时间重构。

9.一种多模态控制装置，其特征在于，所述多模态控制装置包括处理器和存储器，所述存储器中存储有可在处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时实现如权利要求1-4任一项所述的方法。

10.一种车辆，其特征在于，所述车辆装载有如权利要求5-9任一项所述的多模态控制装置，所述车辆具有更少的按键。

11.如权利要求10所述的车辆，其特征在于，所述车辆还包括控制器，所述控制器根据所述多模态控制装置的控制指令对所述按键的功能进行再配置。