[发明专利]一种无约束环境下的细粒度凝视方向估计方法

权利要求书

1.一种无约束环境下的细粒度凝视方向估计方法，其特征在于，包括以下步骤：

S1：视频流图像采集：图像采集是后续对图像进行处理和运算打的基础的图像，不仅要求是完整、稳定、清晰的图像，也要考虑图像计算的价值，以符合实时性的性能，对此，在图像采集阶段使用帧间差分法先对视频流进行差分运算，然后对差分图像采用改进的汉宁窗口滤波，最后提取帧间变化较大的关键帧图像；

S2：人脸检测模型：采取ResNet-34作为主干网络对图像采集环节的图像进行特征提取，并利用特征金字塔结构，上采样不同特征层下不同分辨率的人脸图像，提取不同分辨率下的人脸特征信息；之后利用Inception结构融合多尺度特征图，进一步增加感受野区域获取全局特征，增加人脸检测的精确性，并使用多任务损失函数同时对人脸分类、人脸边界框、人脸关键点进行回归，提升人脸检测的效率；

S3：3D视线估计模型：鉴于大多数基于CNN的3D凝视估计模型，都采用直接预测3D凝视方向角(偏航角、俯仰角)的方法，且大部分模型采用均方误差(l₂损失)作为网络模型的损失函数；对此，本发明对每个注视角度使用两个相同的损失函数，每个损失函数包含一个交叉熵损失和均方误差的线性组合；使用具有交叉熵的Softmax层来预测组合凝视分类，而不是直接预测连续凝视角度；然后，利用估计凝视组合输出的期望用以细化预测；最后，通过将均方误差添加到输出中，以改进注视预测的精度。