[发明专利]视线方向数据采集方法、装置、设备及存储介质

说明书

本发明公开了一种视线方向数据采集方法、装置、设备及存储介质，该方法包括：通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。采集的视线范围增大使得视线方向数据更加准确，而且每次能够采集若干个视线方向数据，提高了视线方向数据的采集效率。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种视线方向数据采集方法、装置、设备及存储介质。

背景技术

现有的视线方向数据采集方案一般通过单次采集的方式，每次只能采集一个视线方向数据，数据采集效率低，无法满足深度学习算法的训练需求，而且受深度相机视场角的影响，对数据采集的场所有较大的限制，采集到的视线方向数据准确度低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种视线方向数据采集方法、装置、设备及存储介质，旨在解决现有技术视线方向数据采集效率和准确度低的技术问题。

为实现上述目的，本发明提供了一种视线方向数据采集方法，所述方法包括以下步骤：

通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；

通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；

确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；

根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。

可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，包括：

在所述第一深度相机坐标系与所述第二深度相机坐标系统一时，根据所述第一深度相机坐标系到各采集相机坐标系的外参矩阵确定所述物体三维坐标在各采集相机坐标系下的物体坐标；

根据所述第二深度相机坐标系到各采集相机坐标系的外参矩阵确定所述眼部三维坐标在各采集相机坐标系下的眼部坐标。

可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，还包括：

在所述第一深度相机坐标系与所述第二深度相机坐标系不统一时，根据所述第一深度相机坐标系到第一预设标定板坐标系的外参矩阵确定所述物体三维坐标在所述第一预设标定板坐标系下的物体标定三维坐标；

根据所述第二深度相机坐标系到所述第一预设标定板坐标系的外参矩阵确定所述眼部三维坐标在所述第一预设标定板坐标系下的眼部标定三维坐标；

根据所述第一预设标定板坐标系到各采集相机坐标系的外参矩阵确定所述物体标定三维坐标和所述眼部标定三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。

可选地，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标之前，还包括：

确定第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵，并确定第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵；

确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标；