[发明专利]数据驱动的戴镜视线估计方法及装置

说明书

本申请公开了一种数据驱动的戴镜视线估计方法及装置，其中，方法包括：检测用户是否满足戴镜条件；在检测到用户满足戴镜条件时，获取用户的实际眼镜度数；根据实际眼镜度数计算对应的戴镜视线误差，并根据戴镜视线误差修正用户的视线估计值，得到用户的实际视线估计值。由此，解决了相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。

技术领域

本申请涉及计算机视觉、计算机图形学技术领域，特别涉及一种数据驱动的戴镜视线估计方法及装置。

背景技术

视线估计在虚拟现实和增强现实等领域有诸多应用。例如，可以让用户通过视线的变化与应用进行交互，省去了外接控制设备的不便，另外，还可以根据用户的视线方向动态地分配计算资源，对用户视野内的场景进行精细渲染，对视野外的场景进行模糊渲染，从而提高计算资源的利用率，以便于降低相关应用的硬件门槛。

相关技术中，如基于外观的视线估计法，通过将人脸眼部区域的图像信息和头部姿态输入至计算机，计算得到其相机坐标系下的视线方向，以人脸眼部区域的外观为线索，利用其中的眼球特征进行眼球旋转估计，再结合头部姿态得到最终的视线估计结果。

然而，相关技术中，在戴镜条件下，人眼注视相同方向的旋转量会因为镜片的折射效应产生变化，进而“欺骗”计算机，使得视线估计结果存在误差，造成视线估计始终存在一定偏差，有待改善。

发明内容

本申请提供一种数据驱动的戴镜视线估计方法及装置，以解决相关技术基于外观的视线估计法，不适用于戴镜条件，易受镜片干扰，导致视线估计结果存在误差的技术问题。

本申请第一方面实施例提供一种数据驱动的戴镜视线估计方法，包括以下步骤：检测用户是否满足戴镜条件；在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。

可选地，在本申请的一个实施例中，在根据所述戴镜视线误差修正所述用户的视线估计值之前，还包括：采集所述用户的当前眼部区域图像；获取所述用户的实际头部姿态。

可选地，在本申请的一个实施例中，所述根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值，包括：基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。

可选地，在本申请的一个实施例中，在得到所述用户的实际视线估计值之前，还包括：获取学习用户的戴镜图像与不戴镜图像，并获取对应的头部姿态、视线方向、眼镜度数的真实标签，生成数据集；基于所述戴镜图像与所述不戴镜图像进行人脸图像裁剪，分别得到第一人脸眼部区域图像和第二人脸眼部区域图像；利用所述第一人脸眼部区域图像和第二人脸眼部区域图像和所述数据集，得到所述映射关系。

可选地，在本申请的一个实施例中，还包括：在检测到所述用户未满足所述戴镜条件时，根据所述当前眼部区域图像和所述实际头部姿态计算所述实际视线估计值。

本申请第二方面实施例提供一种数据驱动的戴镜视线估计装置，包括：检测模块，用于检测用户是否满足戴镜条件；度数获取模块，用于在检测到所述用户满足所述戴镜条件时，获取所述用户的实际眼镜度数；估计模块，用于根据所述实际眼镜度数计算对应的戴镜视线误差，并根据所述戴镜视线误差修正所述用户的视线估计值，得到所述用户的实际视线估计值。

可选地，在本申请的一个实施例中，还包括：采集模块，用于采集所述用户的当前眼部区域图像；姿态获取模块，用于获取所述用户的实际头部姿态。

可选地，在本申请的一个实施例中，所述估计模块进一步用于，基于预先构建的视线估计模型，根据眼镜度数与眼部区域图像及头部姿态之间的映射关系，得到所述实际眼镜度数对应的实际视线估计值。