[发明专利]视线方向训练样本的生成方法、装置和电子设备

权利要求书

1.一种视线方向训练样本的生成方法，其特征在于，应用于处理器，所述处理器与实车模拟区域中设置的多个摄像机相连接，其中，所述实车模拟区域中还包括人物对象，所述实车模拟区域外设置有多个凝视点对象，多个所述摄像机中的第一类摄像机分布在所述人物对象的周围，用于对所述人物对象进行拍摄，多个所述摄像机中的第二类摄像机与所述第一类摄像机相邻设置，用于对每个所述凝视点对象进行拍摄，所述方法包括：

当所述人物对象凝视目标凝视点对象时，获取所述第一类摄像机在同一时刻拍摄的多张人物对象图像和所述第二类摄像机在同一时刻拍摄的多张目标凝视点对象图像；

根据所述多张人物对象图像进行人脸重建，基于第一重建结果确定得到所述人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标，并根据所述多张目标凝视点对象图像进行三维重建，基于第二重建结果确定得到所述目标凝视点对象在各第一类摄像机坐标系下的第二坐标；

基于各所述第一坐标和与各所述第一坐标对应的第二坐标计算各所述人物对象图像中所述人物对象的视线方向。

2.根据权利要求1所述的方法，其特征在于，所述多个凝视点对象设置于所述人物对象的前方预设距离位置处的屏障上，用于模拟所述人物对象在所述实车模拟区域中所能看到的范围。

3.根据权利要求1所述的方法，其特征在于，所述实车模拟区域中还包括：模拟灯光圈，所述模拟灯光圈设置于所述实车模拟区域的上方，用于模拟多种光照环境。

4.根据权利要求1所述的方法，其特征在于，根据所述多张人物对象图像进行人脸重建，基于第一重建结果确定得到所述人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标，包括：

在所述多张人物对象图像中确定用于人脸重建的多张目标人物对象图像；

根据所述多张目标人物对象图像进行三角化重建，得到所述人物对象的双眼的瞳孔中心在目标第一类摄像机坐标系下的第一坐标，其中，所述目标第一类摄像机坐标系为所述多张目标人物对象图像中一张目标人物对象图像对应的摄像机的坐标系；

基于各所述第一类摄像机之间的内外参和所述人物对象的双眼的瞳孔中心在目标第一类摄像机坐标系下的第一坐标，确定所述人物对象的双眼的瞳孔中心在各第一类摄像机坐标系下的第一坐标。

5.根据权利要求1所述的方法，其特征在于，所述第二类摄像机的数量为多个，根据所述多张目标凝视点对象图像进行三维重建，基于第二重建结果确定得到所述目标凝视点对象在各第一类摄像机坐标系下的第二坐标，包括：

在所述多张目标凝视点对象图像中确定用于三维重建的多张重建图像；

根据所述多张重建图像进行三维重建，得到所述目标凝视点对象在目标第二类摄像机坐标系下的坐标，其中，所述目标第二类摄像机坐标系为所述多个第二类摄像机中的一个摄像机的坐标系；

基于多个所述摄像机之间的内外参和所述目标凝视点对象在目标第二类摄像机坐标系下的坐标，确定所述目标凝视点对象在各第一类摄像机坐标系下的第二坐标。

6.根据权利要求1所述的方法，其特征在于，基于各所述第一坐标和与各所述第一坐标对应的第二坐标计算各所述人物对象图像中所述人物对象的视线方向，包括：

在当前坐标系下，确定所述第一坐标与所述第一坐标对应的第二坐标之间的视线向量；

将目标坐标轴的单位向量绕所述当前坐标系的三个坐标轴旋转到所述视线向量的方向，并将绕各坐标轴旋转的角度作为所述人物对象图像中所述人物对象的视线方向。

7.根据权利要求1所述的方法，其特征在于，在得到各所述人物对象图像中所述人物对象的视线方向之后，所述方法还包括：

将各所述人物对象图像和其对应的视线方向作为训练样本对原始视线方向预测模型进行训练，训练得到视线方向预测模型；

采用所述视线方向预测模型对待处理图像进行视线方向预测，得到所述待处理图像中对应的人物对象的视线方向。