[发明专利]视线方向数据采集方法、装置、设备及存储介质

权利要求书

1.一种视线方向数据采集方法，其特征在于，所述方法包括：

通过第一深度相机采集目标物体的物体图像，并根据所述物体图像确定所述目标物体在第一深度相机坐标系下的物体三维坐标，所述目标物体为用户注视的物体；

通过第二深度相机采集所述用户的面部图像，并根据所述面部图像确定所述用户的眼部在第二深度相机坐标系下的眼部三维坐标；

确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标；

根据各采集相机坐标系下的物体坐标和眼部坐标确定所述用户的视线方向数据。

2.如权利要求1所述的方法，其特征在于，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，包括：

在所述第一深度相机坐标系与所述第二深度相机坐标系统一时，根据所述第一深度相机坐标系到各采集相机坐标系的外参矩阵确定所述物体三维坐标在各采集相机坐标系下的物体坐标；

根据所述第二深度相机坐标系到各采集相机坐标系的外参矩阵确定所述眼部三维坐标在各采集相机坐标系下的眼部坐标。

3.如权利要求1所述的方法，其特征在于，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标，还包括：

在所述第一深度相机坐标系与所述第二深度相机坐标系不统一时，根据所述第一深度相机坐标系到第一预设标定板坐标系的外参矩阵确定所述物体三维坐标在所述第一预设标定板坐标系下的物体标定三维坐标；

根据所述第二深度相机坐标系到所述第一预设标定板坐标系的外参矩阵确定所述眼部三维坐标在所述第一预设标定板坐标系下的眼部标定三维坐标；

根据所述第一预设标定板坐标系到各采集相机坐标系的外参矩阵确定所述物体标定三维坐标和所述眼部标定三维坐标在各采集相机坐标系下的物体坐标和眼部坐标。

4.如权利要求1-3任一项所述的方法，其特征在于，所述确定所述物体三维坐标和所述眼部三维坐标在各采集相机坐标系下的物体坐标和眼部坐标之前，还包括：

确定第一深度相机坐标系到第二预设标定板坐标系的第一外参矩阵，并确定第二深度相机坐标系到第二预设标定板坐标系的第二外参矩阵；

确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标；

根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一。

5.如权利要求4所述的方法，其特征在于，所述确定目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标，并确定目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标，包括：

通过第一深度相机采集目标参考物体的第一参考物体图像，并根据所述第一参考物体图像确定所述目标参考物体在所述第一深度相机坐标系下的第一三维物体坐标；

通过第二深度相机采集目标参考物体的第二参考物体图像，并根据所述第二参考物体图像确定所述目标参考物体在所述第二深度相机坐标系下的第二三维物体坐标。

6.如权利要求5所述的方法，其特征在于，所述根据所述第一三维物体坐标、所述第二三维物体坐标、所述第一外参矩阵和所述第二外参矩阵确定所述第一深度相机坐标系和所述第二深度相机坐标系是否统一，包括：

根据所述第一外参矩阵将所述第一三维物体坐标转换为所述第二预设标定板坐标系下的第一物体坐标；

根据所述第二外参矩阵将所述第二三维物体坐标转换为所述第二预设标定板坐标系下的第二物体坐标；

在所述第一物体坐标与所述第二物体坐标一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系统一；以及

在所述第一物体坐标与所述第二物体坐标不一致时，判定所述第一深度相机坐标系和所述第二深度相机坐标系不统一。