[发明专利]一种基于非接触式设备的视线落点检测方法

摘要

本发明公开了一种基于非接触式设备的视线落点检测方法，用于孤独症谱系障碍早期筛查场景下的视线落点检测系统，包括以下步骤：基于非接触式设备的数据采集场景：用于采集无约束场景下婴幼儿交互行为的多角度视频数据；视线落点检测网络：提取研究对象位置特征、头部姿态特征、眼部特征得到视线特征，与场景组件显著性特征融合，设计混合损失函数迭代更新网络模型参数，从而得到研究对象视线范围内最可能关注的显著性位置，作为视线落点。本发明避免了穿戴式设备的不利影响，且低干扰、低成本、易推广，方便采集包含研究对象、场景元素及交互对象在内多角度画面的完整信息。

主权项

1.一种基于非接触式设备的视线落点检测方法，其特征在于：包括以下步骤：(1)基于非接触式设备的数据采集：采用四个光学摄像头多视角同步录制隔离室内亲子社交行为的场景；通过wifi通讯将摄像头捕捉到的画面传输至监控间电脑，获得行为影像数据；行为影像数据包括采集到的图片；(2)视线落点检测网络a视线特征提取路径：视线特征由位置特征、头部姿态特征、眼部特征三部分组成；其中位置特征定义为眼睛在图片中位置的网格式独热编码特征，以提取位置信息；头部特征定义为头部图像通过卷积网络计算的纹理特征，以提取头部姿态信息；眼部特征定义为眼部区域图像通过卷积网络计算的纹理特征，以提取眼部姿态信息；将三部分的特征矢量拼接，经多层全连接及一层激活层结构，以提取视线范围信息；b场景显著性特征提取路径：完整图片输入卷积网络获得场景组件的显著性深度图，经滤波器获得画面分布的重要性权重，以提取场景显著性特征；c视线落点预测机制：将视线特征、场景显著性特征通过对位相乘、全连接操作进行两种信息的特征融合，计算各网格类别的置信度结果，映射到图片中的相应位置，作为视线落点的预测；(3)网络模型训练设计基于视线落点标注与预测结果的混合损失函数，迭代更新网络参数权值，得到具备视线落点检测能力的模型；混合损失函数定义为位置网格式量化规则下的分类损失和回归损失的加权和。