[发明专利]一种支持多模态交互的软件架构

权利要求书

1.一种支持多模态交互的软件架构，其特征在于：包括有硬件适配层、控制层和操作层，所述硬件适配层包括有终端驱动程序以及包含终端信息的终端适配库；所述控制层为一个交互输入管理器，所述交互输入管理器包括有泛化交互原语，所述泛化交互原语将中学虚拟实验操作分为拿取实验器材、组装实验器材、调整实验器材、观察实验器材四类这四大类；所述操作层对实验器材的实际控制，以及操作层和控制层的衔接、控制层和仿真呈现模块的衔接，采用了基于观察者模式的交互消息监听机制进行设计。

2.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述硬件适配层采用适配器模式实现对硬件的自适应，所述适配器模式采用统一的BaseInput基类作为所有输入设备类型的基础公共类，按照交互原语的拿取、组装、调整、观察这四大类操作，封装了抓取、放下、拖拽、按下和握住这些基本操作。

3.根据权利要求2所述的一种支持多模态交互的软件架构，其特征在于：所述BaseInput基类的执行流程如下：

S1：BaseInput基类读取接入到操作系统的输入设备的硬件识别号，即VID和PID，查找终端适配器库中是否存在该硬件识别号，如果不存在，则调用键盘鼠标模拟器，强制以键盘鼠标代替该硬件；

S2：如果输入设备的硬件识别号存在，则根据预制在软件中的交互配置文件，加载到交互输入管理器，形成按键映射规则的实例；

S3：如果同时包含了用户自定义的实验操作交互规则定义文件，则继续加载用户自定义规则，加以补充。

4.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述控制层中的泛化交互原语是指用于完成一个功能、一个动作或者一个过程的若干条指令的最小集合，泛化交互原语被执行过程必须连续不可中断，要不全执行，要不全不执行；

所述控制层支持用户通过JSON文件形式自定义组合原语，形成独有的实验操作定义；

所述控制层中加入扩展点机制进行对接，用户针对实验器材的每一步操作，都有可能触发预先设置在实验流程拓扑图中的监测点，操作触发监测点并将操作信息传回实验流程引擎,实现实验流程控制贯穿多模态交互的过程；

所述中学虚拟实验操作中拿取实验器材包括单手拿取器材和双手拿去器材；所述组装实验器材包括单手拼接组装点和双手拼接组装点；所述调整实验器材包括旋转整个器材、平移整个器材、旋转器材上的某个部件、平移器材上的某个部件和触碰实验器材；所述观察实验器材包括从特定位置观察、以特定角度观察和进行微观放大观察；

所述交互输入管理器通过传递状态控制命令，实现对用户的操作进行选择性屏蔽。

5.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述操作层中观察者模式是一种描述一对多关系的设计模式，在该模式中，目标和观察者是核心，一个目标可以有多个观察者，但是一个观察者只能有一个目标，当一个目标变化时，它的所有观察者都自动收到响应，并且根据目标的参数自动更新自身的参数，目标不需要知道自己有多少个观察者，只管更新自己的状态即可，而对目标状态感兴趣的观察者会自己订阅状态更新，自动维护信息，保持状态同步；

所述消息是指带有特定信息的指令，完整的事件消息机制包括消息产生、消息队列循环、消息分发和消息响应。

6.根据权利要求5所述的一种支持多模态交互的软件架构，其特征在于：所述事件是具体负责处理特定消息的响应函数。

7.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述实验器材上继承有BaseElement公共基础类，该类只提供各个交互原语的操作接口，并不负责具体的交互实现，不同实验器材上的BaseElement公共基础类响应优先级不同；

所述实验器材上允许交互的部位上设置有监听点，所述监听点为一个或一组允许消息监听的句柄。