[发明专利]一种支持多模态交互的软件架构

说明书

本发明公开了一种支持多模态交互的软件架构，该软件架构应用于中学虚拟实验软件，软件架构包括硬件适配层、控制层及操作层，硬件适配层包含多种终端的驱动程序及包含这些终端信息的硬件驱动库；控制层包含每个底层硬件驱动程序的按键定义，通过适配器模式将这些按键定义转化为统一的操作原语，用于屏蔽硬件操作指令的差异性；控制层将中学虚拟实验分为了拿取实验器材、组装实验器材、调整实验器材、观察实验器材四类交互原语；操作层通过观察者模式的交互信息监听，在每个实验器材的交互点上加入BaseElement基类，通过继承和扩展实现了用户硬件交互指令和虚拟实验器材的联动。

技术领域

本发明涉及计算机软件开发技术和虚拟现实相结合的交叉学科技术领域,特别涉及一种支持多模态交互的软件架构。

背景技术

虚实融合的中学虚拟仿真实验软件可以完成传统实验手段无法完成的实验，诸如危险(爆炸)、太大(太空星系)、太小(微观粒子)等实验，已经成为一种新型的高技术实验实现手段。然而，虚实融合技术要求不仅仅是实验呈现效果的逼真感和沉浸感，还要同时满足多模态的自然人机交互。具体来说，虚实融合的中学虚拟实验要求输入输出方式的多样化，包括但不仅限于键盘、鼠标、触摸屏、手柄、手势、语言等，尽可能满足用户的多种使用需求，达到自然交互的感觉。

现今常用的支持单模态交互的软件框架中，软件在运行时同一时间只能支持一种输入设备的操作，同时，单模态交互的软件框架为了支持多种交互终端，不得不同时发布多个内容相同，仅仅是输入输出设备不同的软件版本，给开发人员、企业还是用户都造成了很多不便。

然而对于支持多模态交互的虚实融合中学虚拟实验软件，需要同时支持键盘鼠标、VR手柄、AR手势、语音交互、体感姿态等多种形态的输入交互和语义解析，现有的软件框架已无法支持多模态输入功能的实现，因此需要一种从底层硬件接入、输入管理、到顶层实验操作控制均支持多模态交互的新型软件架构。

发明内容

发明目的：本发明的目的是提供一种支持多模态交互的软件架构，用于解决现有软件架构无法解决的跨平台多终端适配问题，满足中学虚拟实验软件同时支持多种模态的输入交互和语义解析。

技术方案：本发明所述的一种支持多模态交互的软件架构，包括有硬件适配层、控制层和操作层，所述硬件适配层包括有终端驱动程序以及包含终端信息的终端适配库；所述控制层为一个交互输入管理器，所述交互输入管理器包括有泛化交互原语，所述泛化交互原语将中学虚拟实验操作分为拿取实验器材、组装实验器材、调整实验器材、观察实验器材四类这四大类；所述操作层对实验器材的实际控制，以及操作层和控制层的衔接、控制层和仿真呈现模块的衔接，采用了基于观察者模式的交互消息监听机制进行设计。

作为优选，所述硬件适配层采用适配器模式实现对硬件的自适应，所述适配器模式采用统一的BaseInput基类作为所有输入设备类型的基础公共类，按照交互原语的拿取、组装、调整、观察这四大类操作，封装了抓取、放下、拖拽、按下和握住这些基本操作。

作为优选，所述BaseInput基类的执行流程如下：

S1：BaseInput基类读取接入到操作系统的输入设备的硬件识别号，即VID和PID，查找终端适配器库中是否存在该硬件识别号，如果不存在，则调用键盘鼠标模拟器，强制以键盘鼠标代替该硬件；

S2：如果输入设备的硬件识别号存在，则根据预制在软件中的交互配置文件，加载到交互输入管理器，形成按键映射规则的实例；

S3：如果同时包含了用户自定义的实验操作交互规则定义文件，则继续加载用户自定义规则，加以补充。

作为优选，所述控制层中的泛化交互原语是指用于完成一个功能、一个动作或者一个过程的若干条指令的最小集合，泛化交互原语被执行过程必须连续不可中断，要不全执行，要不全不执行；

所述控制层支持用户通过JSON文件形式自定义组合原语，形成独有的实验操作定义；