[发明专利]一种基于机器视觉的虚拟现实交互系统及方法

摘要

本发明提供一种基于机器视觉的虚拟现实交互系统及方法，方法为虚拟环境生成控制器基于机器视觉的特征点识别技术，得到参与者头部在世界坐标系下的姿态变化信息；以及，还得到分离部交互设备的姿态变化信息；再结合分离部交互设备的瞄准方向和对虚拟环境的交互指令，生成在头盔设备运动、分离部交互设备也运动的情况下的叠加虚拟动画，并将叠加后的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；优点为可实现在头盔设备运动、分离部交互设备也运动的情况下，输出叠加的虚拟动画，从而生成比较自然、流畅的动画，进而增强玩家的体验。

主权项

一种应用基于机器视觉的虚拟现实交互系统的基于机器视觉的虚拟现实交互方法，其特征在于，基于机器视觉的虚拟现实交互系统包括：虚拟环境生成控制器(1)、头盔设备(2)和分离部交互系统(3)；其中，所述头盔设备(2)包括头盔式显示器、固定安装于所述头盔式显示器的第二图像采集设备(2.1)和通信模块；所述第二图像采集设备(2.1)通过所述通信模块与所述虚拟环境生成控制器(1)通信；所述分离部交互系统(3)包括分离部交互设备(3.1)、固定设置于所述分离部交互设备(3.1)的第二辅助识别模块(3.2)和指令发送器(3.3)；所述分离部交互设备(3.1)通过所述指令发送器(3.3)与所述虚拟环境生成控制器(1)通信；此外，所述第二图像采集设备(2.1)为摄像机，随着参与者头部运动而运动；所述第二图像采集设备(2.1)用于采集所述第二辅助识别模块(3.2)的图像信息，并将采集到的所述图像信息上传给所述虚拟环境生成控制器(1)；基于机器视觉的虚拟现实交互方法包括以下步骤：S1，初始时刻，头盔设备(2)固定设置有第二图像采集设备(2.1)以及配有图案和/或人工标记的第一辅助识别模块(2.2)；在分离部交互设备(3.1)上固定设置有配有图案和/或人工标记的第二辅助识别模块(3.2)；在参与者视线的前方、左侧或右侧固定安装第一图像采集设备(4)，当所述第一图像采集设备(4)为两个以上时，形成一个无盲区的采集区域；在初始时刻，即t＝0时，虚拟环境生成控制器(1)生成初始的虚拟环境；同时，所述虚拟环境生成控制器(1)预存储第一辅助识别模块(2.2)在头盔真实场景坐标系下的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0；还存储第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下的初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，以及分离部交互设备相对于头盔真实场景所在坐标系的姿态信息P0；根据第一辅助识别模块(2.2)所在头盔真实场景坐标系的初始三维坐标A0、以及第一辅助识别模块(2.2)中各个特征点在图像平面坐标系下的初始二维坐标B0，通过三维注册技术解算得到初始时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵M0；以及，根据第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系下初始三维坐标C0、第二辅助识别模块(3.2)中各个特征点在图像平面坐标系下的初始二维坐标D0，通过三维注册技术解算得到初始时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵W0；其中，当分离部交互设备(3.1)和/或头盔设备(2)运动时，A0、C0均为常量；S2，在下一时刻，当头盔设备(2)和/或分离部交互设备(3.1)运动时，固定安装于参与者前方的第一图像采集设备(4)，采集当前时刻固定安装于所述头盔设备(2)的第一辅助识别模块(2.2)的第一图像信息，并实时将所述第一图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第一辅助识别模块(2.2)具有一定排列规则的特征点；同时，固定安装于所述头盔设备(2)的第二图像采集设备(2.1)实时采集当前时刻所述分离部交互设备(3.1)中第二辅助识别模块(3.2)的第二图像信息，并实时将所述第二图像信息上传给所述虚拟环境生成控制器(1)；其中，所述第二辅助识别模块(3.2)具有一定排列规则的特征点；S3，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第一图像信息进行解算，得到上一时刻头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt‑1；其中，头部相对于第一图像采集设备所在坐标系下的姿态变化矩阵Tt‑1的计算方法为：1)采用三维注册技术计算当前时刻第一辅助识别模块(2.2)所在头盔真实场景坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵Mt；2)又Mt‑1为上一时刻第一辅助识别模块(2.2)所在坐标系相对于第一图像采集设备(4)所在坐标系的变换矩阵是已知的，则通过公式Mt＝Tt‑1Mt‑1可结算出Tt‑1；S4，所述虚拟环境生成控制器(1)基于机器视觉的特征点识别技术，对所述第二图像信息进行解算，得到上一时刻第二辅助识别模块(3.2)所在分离部交互设备相对于第二图像采集设备(2.1)的分离部姿态变化矩阵St‑1；其中，分离部姿态变化矩阵St‑1的计算方法为：1)采用三维注册技术计算当前时刻第二辅助识别模块(3.2)所在分离部交互设备真实场景坐标系相对于第二图像采集设备(2.1)所在坐标系的变换矩阵Wt；2)又Wt‑1为上一时刻第二辅助识别模块(3.2)所在坐标系相对于第一图像采集设备(2.1)所在坐标系的变换矩阵是已知的，则通过公式Wt＝St‑1Wt‑1可计算出St‑1；S5，所述虚拟环境生成控制器(1)根据上一时刻分离部姿态变化矩阵St‑1，根据公式Pt＝St‑1Pt‑1，解算出当前时刻分离部交互设备相对于第二图像采集设备(2.1)的姿态信息，并结合S2中所述分离部交互系统(3)中的指令收发器，向虚拟环境生成控制器(1)发送当前时刻分离部交互设备的瞄准方向和对虚拟环境的交互指令；其中，Pt‑1表示上一时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息，Pt表示当前时刻分离部交互设备相对于头盔真实场景所在坐标系的姿态信息；S6，所述虚拟环境生成控制器(1)根据S3得到的所述上一时刻参与者头部的头部姿态变化矩阵Tt‑1以及上一时刻分离部交互设备的分离部姿态变化矩阵St‑1，再结合S5中分离部交互设备的瞄准方向和对虚拟环境的交互指令，对上一时刻的虚拟环境进行改变，生成在头盔设备运动、分离部交互设备也运动的情况下的新的虚拟动画，并将新的虚拟动画输出到位于头盔设备前端卡槽内的显示屏上；S7，当下一时刻到达时，重复S2‑S6，由此实现参与者与虚拟环境的虚拟现实交互。