[发明专利]基于增强虚拟现实与异型屏的实时人机互动方法及系统

摘要

本发明提供了一种基于增强虚拟现实与异型屏的实时人机互动方法及系统。本方法的操作步骤为：1)对要交互的虚拟物体进行建模，对统计平均的人手模型进行建模；2)由N台摄像头对人手进行视频采集，获得原始图像；3)在计算机内进行处理。本系统包括实现实时光透式增强显示的系统、实时虚实抓握、抛物动作检测与实时抛物动画生成算法及系统、以及实时多异型屏交互系统。在大型异型屏场景中做各种虚实变换，在立体眼镜中嵌入表现互动内容的三维动画或者三维图像，加之视音频设备、灯光控制设备等展示将构建一整套大型的特殊效果。

主权项

1.一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下：A.对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模；B.由N台摄像头对人手进行视频采集，获得原始图像；C.在计算机内进行处理，步骤为：a.实现实时光透式增强显示：对拍摄的人手原始图像，经过分割处理后，进行三维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测；先利用包围盒方法进行粗步检测，如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰撞检测；对碰撞后的虚拟模型进行变形处理，进行注册后显示在光透式头盔显示器上；b.实时虚实抓握、抛物动作检测与实时抛物动画生成计算：对拍摄的原始图像，经过肤色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛选，确定动作类型；在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等系数进行抛物动作检测判断，如果大于试验统计平均值，则为抛物成功；在抛物成功后实时生成相应的抛物动画；c.实时多屏交互：对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出到另一投影屏幕的情况进行图像融合；利用网络平台实现分布式预处理。