[发明专利]适用于视触觉融合反馈的虚拟现实软件框架的实现方法

说明书

本发明提供一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，通过几个组件的协调工作，用户可以根据虚拟物体与虚拟化身的接触类型选择一种或者多种不同的工具库，从而满足单点接触、多点接触、滑动接触、柔性体接触等不同接触类型的交互需求，在满足视觉呈现需求的同时，可以真实地为用户提供触觉反馈，并且可以为用户提供沉浸式的视‑触觉融合反馈。

技术领域

本发明属于计算机应用技术领域，具体而言，涉及一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法。

背景技术

对于简单的虚拟交互场景，例如虚拟物体为具有规则几何外形的刚性物体，现有的虚拟现实软件框架，例如Unity 3D引擎，可以真实地再现用户虚拟化身和虚拟物体交互的视觉效果，为用户提供实时动态的视觉交互体验。但在模拟用户与虚拟场景的视触觉融合反馈方面，这些引擎往往难以满足用户和虚拟物体之间的沉浸式视触觉融合反馈的交互需求。

现有的虚拟现实软件框架存在以下问题：当虚拟化身与虚拟物体接触时，两者的位置间距小于设定阈值的情况下，现有的VR软件框架会简单地将虚拟化身与虚拟物体绑定在一起，导致无法实现弹性体交互、相对滑动等操作任务的逼真模拟；现有的VR软件框架缺乏对触觉反馈的友好支持，主要体现在缺乏对多种类型触觉(称为多元触觉)交互的支持，难以模拟细微的力触觉变化体验，并且触觉反馈的更新频率远低于1kHz，显著削弱了虚拟交互的沉浸感；不同的VR应用对VR软件框架的要求不同，这需要VR软件框架能够提供较强的可扩展能力，并且近些年VR硬件设备，例如VR眼镜/头盔，振动手柄，力反馈手套等发展迅速，VR软件框架对不同硬件设备的支持能力有待提高。

现有的虚拟现实软件框架存在的技术问题极大的增加了视触觉融合反馈的虚拟现实应用系统的开发难度和开发成本，限制了视触觉融合交互在虚拟现实与增强现实领域中的应用与推广。

发明内容

本发明解决的技术问题是提供一种适用于沉浸式视触觉融合反馈的可扩展的虚拟现实软件框架，以促进虚拟现实与增强现实技术的应用与发展。

为解决上述问题，本发明提供一种适用于视触觉融合反馈的虚拟现实软件框架的实现方法，所述软件框架包括视觉组件、触觉组件、硬件组件和核心管理组件，该实现方法具体如下：

利用硬件组件将不同类型的硬件设备接入系统，利用视觉组件构建虚拟现实应用场景；

实时获取用户的交互动作，将用户的交互动作映射到虚拟场景中，触觉组件执行碰撞检测，获取碰撞信息；

触觉组件根据所述碰撞信息，判断用户虚拟化身与虚拟物体之间的接触类型：如果是单点接触，直接转到下一步骤；如果是多点接触，根据需求先执行接触约减，得到能够表征用户虚拟化身与虚拟物体之间接触特征的有效接触对后，再转到下一步骤；

触觉组件根据所述接触类型，以及用户虚拟化身与虚拟物体物理属性的不同采用不同的接触处理方案执行碰撞响应计算。

根据碰撞响应计算的结果，视觉组件对虚拟场景的图形显示进行更新，与此同时在核心管理组件的协调下，力反馈设备通过硬件组件获取需要的力反馈信息并将其提供给用户，使用户获得视-触觉融合反馈的沉浸式体验。

进一步地，所述硬件组件包括接入和调度不同硬件设备所需的驱动程序，并将驱动程序封装为动态库，所述核心管理组件通过调用动态库动态加载硬件设备，通过统一的IO接口实现核心管理组件与硬件设备之间的读写操作。

进一步地，根据物理属性的不同将用户虚拟化身与虚拟物体的交互分为四类：刚性工具与刚性物体的交互、刚性工具与柔性物体的交互、柔性工具与刚性物体的交互以及柔性工具与柔性物体的交互。