[发明专利]一种基于眼动轨迹的虚拟增强设备的识别方法

说明书

本发明公开了一种基于眼动轨迹的虚拟增强设备的识别方法，包括：步骤1：使用真实场景采集相机；步骤2：通过眼球跟踪相机；步骤3：计算机视觉服务器实现眼球区域获取、眼球关键点提取及特征计算；步骤4：眼动轨迹分析服务器初始化训练数据库；步骤5：使用脑电信号采集器；步骤6：脑电信号分析服务器对脑电信号数据预处理转化；步骤7：虚拟场景渲染服务器结合眼动轨迹及脑电数据分析；步骤8：显示设备输出显示自动景深融合渲染后的虚实场景图像。本发明与传统技术相比，通过实时获取眼动轨迹及脑电信号数据，并进行计算分析，实时调整增强现实系统显示图像的聚焦程度，调整增强现实系统中虚拟场景的景深效果，提高了用户的沉浸感。

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于眼动轨迹的虚拟增强设备的识别方法。

背景技术

增强现实(Augmented Reality，AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的技术。AR系统涉及到计算机科学的多个领域，其中包括多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪与三维注册、场景融合等多种技术。

AR系统可以将虚拟信息无缝叠加到真实场景中，帮助置身于高沉浸感“增强”环境中的用户能更好的理解与感受所处的环境。为实现这一目标，需要AR系统能很好解决虚拟与真实融合一致性问题。

通常在AR系统中，虚实融合一致性问题又可分为几何一致性和光照一致性两个方面。其中，几何一致性问题主要针对虚拟物体与真实场景在三维空间上的一致性，例如虚拟与真实物体的正确对位、以及正确的前后遮挡关系；光照一致性问题主要针对虚拟场景中对真实场景内的光照情况的模拟与仿真，例如光源位置的估算，虚拟物体阴影的模拟等。伴随三维跟踪注册技术的发展，AR系统中的几何一致性问题已在一定程度上得到解决，但光照一致性问题仍然面临诸多难题。

目前，针对AR系统中的光照一致性问题的研究工作主要分为：借助辅助标志，借助辅助设备以及基于图像分析这三类。其中，借助辅助标志的方法实时性高，但限制了AR的应用范围；借助深度相机、鱼眼相机等辅助设备的解决方案在一定程度上克服了辅助标志的缺点，但额外的辅助设备对用户使用而言并不友好。因此，对外部依赖更少的基于图像内容分析的光照估计方法得到了更多的重视。但已有的基于图像内容分析的光照估计方法，多基于传统PC平台，且算法本身的复杂度较高。

为了更好提高AR系统的虚实一致性，通过眼动及脑电技术来感知虚拟场景的景深感，从而影响及提升虚实融合效果与感受。

眼动研究是人们通过人的眼球运动轨迹数据来探讨眼动与人的心理活动关系。其中，眼动技术分析人类在不同环境情况下的视觉加工特性，并提供人类心理活动间接工具。眼动技术通过观察、机械、光学以及视频影像等记录方式。通过对眼动轨迹记录，提取注视时间和次数、瞳孔大小、注视点等数据，研究使用者的感知变化。

人们的情感主要受大脑皮层进行调整，因此AR系统的使用者对虚实融合的效果反馈，可以通过脑电信号变化获得。脑电技术是通过分析脑电信号数据客观反映人们的感知和思维，其中脑电信号数据可以体现大脑神经元活动。

在AR系统中，可以通过头盔式(Head Mounted Optics)显示系统，采用相机以及脑电接口设备捕获使用者的眼球与脑电信号动态变化过程，分析眼球对现实场景的感知状态，分析个体心理活动及内在认知过程，调整增强现实系统中虚拟场景的景深效果，从而提升虚实融合效果与感受。

综上所述，为了解决眼动研究与AR技术的融合，我们做出了一系列改进。

发明内容

本发明的目的在于，提供一种基于眼动轨迹的虚拟增强设备的识别方法，以克服现有技术所存在的上述缺点和不足。

一种基于眼动轨迹的虚拟增强设备的识别方法，包括：

步骤1：使用真实场景采集相机，实时采集真实场景图像，并通过无线网络传送给计算机视觉服务器；