[发明专利]基于阵列镜头的兴趣点关注度测试方法及装置

说明书

技术领域

本发明涉及一种基于阵列镜头的兴趣点关注度测试方法及装置，属于图像处理及计算机视觉处理技术领域。

背景技术

人脸表情携带着很大的信息量，通过分析人脸表情，进而分析对象的兴趣点所在，具有广泛的应用前景，目前已在互动游戏平台、安全驾驶提醒、远程教育系统、智能交通、辅助医护等方面取得了良好的应用效果。

目前最为火热的兴趣度关注方法是通过眼动跟踪实现的。眼动追踪是通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动的本质是人注意力资源的主动或被动分配，选择更有用或吸引力的信息。运用眼动追踪方法收集详细的技术信息，并记录用户观看(和没有观看)的位置，以及观看的时间。在用户读取图像和视频时，眼动追踪记录了注视和扫视的过程，并完整地判断出眼睛浏览和停留的位置。这种技术清晰地解释用户的眼睛看过哪些位置，没有看哪些位置，从而眼动跟踪可以测试出用户的视线在浏览时移动的轨迹和关注的重点部位。

眼动跟踪无法帮助研究人员直接了解用户动机，进行信息处理或信息理解。因此，建议它与其他验证或互补的研究方法结合使用，配合其他用研方法使用。

发明内容

鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的兴趣点关注度测试方法及装置，能够根据人眼注视位置及相应位置的人脸表情，确定对象的兴趣点关注度，测试结果较为准确。

为实现上述目的，本发明采用以下技术方案：

一种基于阵列镜头的兴趣点关注度测试装置，包括人眼活动轨迹检测模块，人脸表情识别模块，关注度检测模块；

人眼活动轨迹检测模块，用于检测人眼活动轨迹，得到人眼注视位置；

人脸表情识别模块，用于识别人脸表情；

兴趣点关注度检测模块，用于根据人眼注视位置及人脸表情，确定对象的兴趣点关注程度。

所述检测人眼活动轨迹的方法是：

利用红外镜头采集瞳孔具有光斑的人脸图像；

从该人脸图像中提取出人眼区域图像；

从该人眼区域图像中提取瞳孔图像、光斑图像；

确定瞳孔、光斑的中心坐标，

确定瞳孔、光斑的中心坐标与注视点坐标的关系；

根据连续的注视点坐标，得到人眼活动轨迹。

识别人脸表情的方法是：

利用阵列式镜头采集人脸图像；

从人脸图像中识别人脸区域图像；

将人脸区域图像调整为正面人脸姿态的人脸区域图像；

将调整后的人脸区域图像输入卷积神经网络模型，输出人脸表情识别结果。

一种基于阵列镜头的兴趣点关注度测试方法，包括：

检测人眼活动轨迹，确定人眼注视位置；

识别人脸表情；

根据人眼注视位置及相应位置的人脸表情，确定兴趣点关注程度。

所述检测人眼活动轨迹的方法是：

利用红外镜头采集瞳孔具有光斑的人脸图像；

从该人脸图像中提取出人眼区域图像；

从该人眼区域图像中提取瞳孔图像、光斑图像；

确定瞳孔、光斑的中心坐标，

确定瞳孔、光斑的中心坐标与注视点坐标的关系；

根据连续的注视点坐标，得到人眼活动轨迹。

从所述人眼区域图像中提取瞳孔图像的方法是：

利用梯度算法确定所述人眼区域图像中像素值变化最大的点，作为瞳孔点；以该瞳孔点为中心，划分一个瞳孔区域；对该瞳孔区域利用OTSU算法，生成瞳孔图像。

从所述人眼区域图像中提取光斑图像的方法是：

对所述人眼区域图像进行取反处理，生成取反后的人眼区域图像；利用梯度算法确定取反后的人眼区域图像中像素值变化最大的点，作为光斑点；以该光斑点为中心，划分一个光斑区域；对该光斑区域依次利用OTSU算法，生成光斑图像。

利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐标与注视点的映射关系为，

其中，(X_gaze，Y_gaze)为注视点坐标，

其中，(x_p，y_p)为瞳孔的中心坐标，(x_c，y_c)为光斑的中心坐标，利用重心法确定所述瞳孔、光斑的中心坐标。

所述识别人脸表情的方法是：

利用阵列式镜头采集人脸图像；

从人脸图像中识别人脸区域图像；