[发明专利]一种基于语音/手势的多通道融合方法

权利要求书

1.一种基于语音/手势的多通道融合方法，其特征在于该方法包括以下步骤：

A、构造四个队列，两个是词法层的工作事件队列，另外两个分别是临时任务队列和执行任务队列；

B、在语音的工作事件队列中按时间顺序查找类型为“任务动作”的事件，如果找到，将其放到临时工作队列中；

C、将语音/手势输入通道识别的词填充临时任务队列，若临时任务队列的查找任务状态为“完成”，将临时任务队列的“完成”任务整个放到执行任务队列中；

D、提取执行任务队列中的任务交由应用程序执行，程序执行该任务并且返回执行结果，如果执行正确则结束该任务，否则，读取错误原因，作相应处理。

2.如权利要求1所述的基于语音/手势的多通道融合方法，其特征在于步骤C包括以下步骤：

步骤1：初始化由一个二维数组表示的相关系数矩阵，二维数组的各项值均为0；

步骤2：事件输入，查找产生任务槽的事件，每增加一个事件，数组中的行和列增加一项；

步骤3：计算当前事件与工作事件现有事件的相关系数，填到相关系数矩阵的相应位置；

步骤4：若超过超时阈值，该事件还没有被选中，程序就强制丢掉该事件，同时在相关系数矩阵中删除该项；

步骤5：根据任务槽的语法约束，选取符合要求的而且相关系数最大的事件填充任务槽。