[发明专利]一种基于对抗优化的视线方向确定方法

说明书

本公开的实施例公开了视线方向确定方法。该方法的一具体实施方式包括：获取目标对象的人脸或人眼图像，建立特征提取网络；利用对抗训练方法，优化特征提取网络，隐式的去除特征提取网络所提取的视线无关特征，使得特征提取网络从人脸或人眼图像中提取视线相关特征，得到视线相关特征；基于视线相关特征，确定目标视线方向。该实施方式可以将图像特征中包含的视线无关特征与视线相关特征进行分离，使得图像特征中包含视线相关特征，进一步使得确定的视线方向的准确性和稳定性提升。

技术领域

本公开的实施例涉及图像处理技术领域，具体涉及视线方向确定方法。

背景技术

目前，视线追踪是计算机视觉中的一个重要领域，视线追踪的主要目的在于预测用户的视线方向。用户的视线方向中包含有大量的用户个人倾向性信息和个人感知信息。视线追踪技术在人机交互，用户的意图理解中有着重要的作用。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了视线方向确定方法，来解决以上背景技术部分提到的技术问题中的一项或多项。

本发明提供了一种视线方向确定方法。其目标在于，优化从目标对象的人脸或人眼外观中提取得到的图像特征，去除视线无关特征，例如说：光照，个人外观，仅保留视线相关特征，并以上述视线相关特征预测目标对象的目标视线方向。

具体而言，本发明所提供的视线方向确定方法，包括：获取目标对象的人脸或人眼图像，建立特征提取网络，其中，特征提取网络用于在上述人脸或人眼图像中提取上述目标对象的图像特征；利用对抗训练方法，优化特征提取网络，隐式的去除特征提取网络所提取的视线无关特征，使得特征提取网络从上述人脸或人眼图像中提取视线相关特征，得到视线相关特征；基于上述视线相关特征，确定目标视线方向。

在一种可能的实施方式中，上述对抗性任务包括：

建立一个图像重建网络，向图像重建网络输入图像特征，图像重建网络输出生成图像。在网络训练过程中，图像重建网络试图从上述图像特征中恢复目标对象的人脸或人眼图像。特征提取网络通过优化调整自身参数，减少提取的图像特征中所包含的图像信息，使得图像重建网络无法从上述图像特征中恢复目标对象的人脸或人眼图像。同时，通过为目标对象的人脸或人眼图像设立权重图，对图像中不同的区域进行加权，将任务细化为减少图像中某一区域所包含的图像信息，例如眼睛区域。从而消除该指定区域中的视线无关特征。

另一方面，建立一个视线预测网络，向视线预测网络输入图像特征，视线预测网络输出视线方向。在网络训练过程中，视线预测网络和上述特征提取网络均尽力保证视线方向确定的准确性，要求特征提取网络提取的图像特征中包含数目大于第一预定阈值个的视线信息。这也意味着最大化图像特征中所包含的图像信息。

本发明与现有技术相比的优点在于：本发明通过设计对抗任务优化了所提取的图像特征，隐式的去除了所提取的图像特征中包含的视线无关特征，仅保留视线相关特征。目前大部分的视线预测方法都是通过神经网络自动的从图像中学习用于视线估计的特征。然而，对于面部图像中，一些视线无关特征(例如，光照)会和视线相关特征(例如，面部特征点)紧紧结合在一起，即提取到的特征中可能是包含有光照的面部特征点。在本发明中，通过建立两个对抗性任务，约束了提取图像特征中包含有数目小于预定阈值个的图像信息，以及数目大于第一预定阈值个的视线信息。通过对抗训练的方式，将图像特征中包含的视线无关特征与视线相关特征进行分离，使得图像特征中包含视线相关特征，进一步使得确定的视线方向的准确性和稳定性提升。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。