[发明专利]视线方向训练样本的生成方法、装置和电子设备

说明书

本发明提供了一种视线方向训练样本的生成方法、装置和电子设备，包括：当人物对象凝视目标凝视点对象时，获取多张人物对象图像和多张目标凝视点对象图像；根据多张人物对象图像进行人脸重建，基于第一重建结果确定得到人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标，并根据多张目标凝视点对象图像进行三维重建，基于第二重建结果确定得到目标凝视点对象在各第一类摄像机坐标系下的第二坐标；基于各第一坐标和与对应的第二坐标计算各人物对象图像中人物对象的视线方向。本发明的方法能够自动获得同一时刻下，不同视角下的多张人物对象图像与其对应的视线方向(即视线方向的训练样本)。

技术领域

本发明涉及数据采集的技术领域，尤其是涉及一种视线方向训练样本的生成方法、装置和电子设备。

背景技术

在驾驶员疲劳监测系统中，驾驶员的视线方向检测对后续判断驾驶员注意力是否分散具有很重要的作用，驾驶员的视线方向检测是驾驶员疲劳检测系统的基础。采用视线方向预测模型对驾驶员的视线方向进行预测是极其方便的，但是，在采用视线方向预测模型对驾驶员的视线方向进行预测时，需要事先采用视线方向的训练样本对原始的视线方向预测模型进行训练，进而再通过训练后的视线方向预测模型对驾驶员的视线方向进行预测，所以如何快速高效的得到丰富的视线方向的训练样本是亟待解决的问题。

现有的视线方向的真值获取算法都是采用眼动仪来记录眼球移动与视线方向轨迹，但是这种通过驾驶员穿戴穿戴式设备采集的数据无法获取免冠人脸图像，这种数据不能用于视线方向预测模型的训练。

综上，现有技术还无法快速高效的得到丰富的视线方向的训练样本，以用于视线方向预测模型的训练。

发明内容

有鉴于此，本发明的目的在于提供一种视线方向训练样本的生成方法、装置和电子设备，以缓解现有技术还无法快速高效的得到丰富的视线方向的训练样本的技术问题。

第一方面，本发明实施例提供了一种视线方向训练样本的生成方法，应用于处理器，所述处理器与实车模拟区域中设置的多个摄像机相连接，其中，所述实车模拟区域中还包括人物对象，所述实车模拟区域外设置有多个凝视点对象，多个所述摄像机中的第一类摄像机分布在所述人物对象的周围，用于对所述人物对象进行拍摄，多个所述摄像机中的第二类摄像机与所述第一类摄像机相邻设置，用于对每个所述凝视点对象进行拍摄，所述方法包括：

当所述人物对象凝视目标凝视点对象时，获取所述第一类摄像机在同一时刻拍摄的多张人物对象图像和所述第二类摄像机在同一时刻拍摄的多张目标凝视点对象图像；

根据所述多张人物对象图像进行人脸重建，基于第一重建结果确定得到所述人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标，并根据所述多张目标凝视点对象图像进行三维重建，基于第二重建结果确定得到所述目标凝视点对象在各第一类摄像机坐标系下的第二坐标；

基于各所述第一坐标和与各所述第一坐标对应的第二坐标计算各所述人物对象图像中所述人物对象的视线方向。

进一步的，所述多个凝视点对象设置于所述人物对象的前方预设距离位置处的屏障上，用于模拟所述人物对象在所述实车模拟区域中所能看到的范围。

进一步的，所述实车模拟区域中还包括：模拟灯光圈，所述模拟灯光圈设置于所述实车模拟区域的上方，用于模拟多种光照环境。

进一步的，根据所述多张人物对象图像进行人脸重建，基于第一重建结果确定得到所述人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标，包括：

在所述多张人物对象图像中确定用于人脸重建的多张目标人物对象图像；

根据所述多张目标人物对象图像进行三角化重建，得到所述人物对象的双眼的瞳孔中心在目标第一类摄像机坐标系下的第一坐标，其中，所述目标第一类摄像机坐标系为所述多张目标人物对象图像中一张目标人物对象图像对应的摄像机的坐标系；