[发明专利]确定注视位置的方法及相关装置

说明书

本公开提供确定注视位置的方法及相关装置，用于解决相关技术中对于注视位置的确定方式通用性差、过程繁琐效率低的问题。本公开基于摄像头拍摄的图像，从中分解出左眼区域、右眼区域和面部区域，然后对这三个区域进行分析得到综合特征，在综合特征的基础上对左右眼区域图像进行分析得到左眼特征表达、右眼特征表达，最后结合综合特征和面部特征得到注视位置。整个过程中只需要提取重要的特征，包括面部特征、综合特征、左眼特征表达和右眼特征表达，然后基于这些特征即可分类出人眼的注视位置。用户无需注视固定点，采集矫正数据，通过多个层面的特征描述能够确保确定注视位置的准确性。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种确定注视位置的方法及相关装置。

背景技术

眼部视线通常蕴含着非常多的信息，它可以反映出兴趣点、专注程度、甚至心理状态，自动的实时估计眼部视线对于各类研究人员和日常生产生活都有着极大的价值。但是以往为实现较为准确的视线估计通常需要购置专业的设备才可以进行。

视线估计领域最近提出了很多不同的技术路线，主要归纳为三类：基于眼部模型重建估计视线三维方向的技术路线；基于回归的二维眼部特征估计屏幕注视点的技术路线；基于面貌的技术路线。其中：

三维眼部模型重建是构建一个眼部三维几何模型并以此来估计视线，而每个对象的眼部模型是不一样的，所以此类技术路线要求捕获很多对象信息来重建对象的眼部模型，例如测量虹膜半径等，而且该方法还需要使用专业设备采集很多当前对象信息。

二维技术路线对设备的要求基本和三维技术路线一致，二维技术路线直接使用测量得到的瞳孔中心和眼睑等信息来回归得到注视点在屏幕的位置，故此也需要专业的设备。

而基于面貌的技术路线与前两类最重要的区别在于对硬件设备的要求很低，它通过普通的网络摄像头采集面部信息，基于采集图像直接回归得到注视方向或注视点。

虽然基于面貌的技术路线对硬件的要求较低，但它的流程也相对更复杂。例如，该方法通常要求每个对象在使用之前注视屏幕上一些固定出现的点，采集得到该对象的矫正数据。这一过程对于注视位置的确定方式通用性差、过程繁琐效率低。故此，如何在普通设备上确定注视位置仍有待研究。

发明内容

本公开实施例提供一种确定注视位置的方法及相关装置，用于解决相关技术中对于注视位置的确定方式通用性差、过程繁琐效率低的问题。

第一方面，本公开提出一种确定注视位置的方法，所述方法包括：

获取目标对象的图像；

从所述图像中解析出所述目标对象的面部区域、左眼区域和右眼区域；

对所述面部区域进行特征提取得到面部特征，并对所述面部区域、所述左眼区域和所述右眼区域进行特征提取得到综合特征；

对所述左眼区域、所述面部特征和所述综合特征进行特征提取，得到左眼特征表达；并对所述右眼区域、所述面部特征和所述综合特征进行特征提取，得到右眼特征表达；

基于所述左眼特征表达、所述右眼特征表达、所述面部特征和所述综合特征，得到所述目标对象的注视位置信息，其中所述注视位置信息包括注视点坐标和/或注视点所在的区域。

可选的，所述对所述左眼区域、所述面部特征和所述综合特征进行特征提取，得到左眼特征表达，包括：

对所述左眼区域、所述面部特征和所述综合特征进行特征提取，得到第一左眼特征图；

将所述第一左眼特征图进行编码操作，得到所述第一左眼特征图的左眼编码特征；并提取所述第一左眼特征图的每个特征点的上下文信息，得到左眼上下文特征；

基于所述左眼编码特征和所述左眼上下文特征，得到第二左眼特征图；