[发明专利]一种无需标定的增强现实眼镜眼动交互方法及系统

说明书

本发明公开一种无需标定的增强现实眼镜眼动交互方法及系统，能够在不标定的情况下使用眼动技术，同增强现实眼镜进行人机交互，能够应对人员随时调整眼镜等情况。首先左右眼相机拍摄各自眼睛图像；通过轮廓检测技术，对眼睛轮廓和眼球轮廓进行检测；利用深度卷积神经网络映射模型，将轮廓信息映射到增强现实眼镜视场内的局部3D观测区域；最后，结合显著性检测模型，在局部3D区域内部检测人员观测的最大概率3D注视点。利用上述方法，不需要繁琐的标定步骤，可以鲁棒精确地预测人员眼动注视3D点信息，并且支持人员随时调整眼镜佩戴方式，使用方便快捷，能够为增强现实眼镜提供鲁棒的眼动交互方式。

技术领域

本发明涉及人机交互、增强现实、计算机视觉领域，尤其涉及到一种无需 标定的增强现实眼镜眼动交互方法及系统。

背景技术

增强现实眼镜是下一代智能终端的代表，相对于个人计算机、智能手机等 终端，增强现实眼镜展示的信息更丰富更立体更便捷。人机交互是智能终端的 核心组成元素，相对于计算机的鼠标键盘、智能手机的触屏等交互方式，增强 现实眼镜需要开发符合自身应用特性的交互方式。眼动作为人员最直接、最自 然的行为交互模式，是增强现实眼镜交互中的核心指向交互方式；但当前眼动 交互方式需要复杂的标定程序，指向精度较低，并且在人员调整眼镜后需要重 新标定，使用效率低；因此，高精度便捷使用的眼动交互方式是目前增强现实 交互领域的热点研究问题。

眼动的便捷高精度测量是眼动人机交互的核心问题，但当前眼动测量主要 面临以下几个困难：需要繁琐的标定步骤，用户在使用眼动交互时，必须先进 行眼动参数标定，以确定眼睛相机的外参数，以及视场相对于眼睛的参数；标 定结束后，人员无法再进行眼镜佩戴方式调整，如调整需重新标定；眼动指向 测量精度较低，这是因为当前眼动测量方法是通过二维黑白图像预测三维眼球 的朝向，再结合标定获得的映射矩阵将三维眼球方向映射到视场空间，如此方 式非常依赖映射矩阵的精确性，其次映射矩阵只是眼珠方向到视场的映射关系 的理论近似，并不能完全描述精确的映射转换关系。

发明内容

本发明的目的是通过以下技术方案实现的。

本发明从无需标定的眼动交互方法入手，开发基于眼睛轮廓和眼球轮廓的 映射输入，设计基于大数据深度神经网络学习的映射模型，并且开发基于局部 显著性检测的精确注视点预测方法，为无需标定的增强现实眼镜眼动交互问题 提供鲁棒精确的解决方案。

根据本发明的第一个方面，提供了一种无需标定的增强现实眼镜眼动交互方 法，包括如下步骤：获取人员左右眼睛图像；通过眼睛、眼球轮廓检测技术，对 眼睛轮廓和眼球轮廓进行提取；利用深度卷积神经网络映射模型，将眼睛轮廓和 眼球轮廓信息映射到增强现实眼镜视场内的局部三维观测区域；结合显著性检测 模型，在所述局部三维观测区域内部，预测人员观测的最大概率三维注视点。

优选的，采用相机拍摄并结合补光技术，获取所述人员左右眼睛图像。

优选的，所述通过眼睛、眼球轮廓检测技术，对眼睛轮廓和眼球轮廓进行提 取，包括：收集多张人眼图片，并人工标注图片中的眼睛轮廓和眼球轮廓信息； 设计区域分割神经网络模型，以人眼图片作为输入，以人工标注的眼睛轮廓和眼 球轮廓为输出，结合收集标注的大数据样本进行神经网络模型参数训练；将训练 好的神经网络模型作为眼睛轮廓和眼球轮廓检测算子，进行眼睛、眼球轮廓检测。

优选的，所述多张人眼图片来自不同的人。

优选的，所述神经网络模型采用Mask-RCNN神经网络模型。

优选的，所述利用深度卷积神经网络映射模型，将眼睛轮廓和眼球轮廓信息 映射到增强现实眼镜视场内的局部三维观测区域，包括：收集多张人眼图片，及 对应的增强现实眼镜三维注视点；设计基于神经网络的图像映射模型，以左右眼 睛图片及相应的眼睛、眼球轮廓信息作为输入，以增强现实眼镜的三维注视点作 为输出，结合收集标注关联的大数据样本进行模型参数训练；使用训练好的图像 映射模型，进行眼睛图像到三维注视区域的映射。