[发明专利]视线数据样本的采集系统、方法、计算设备及存储介质

权利要求书

1.一种视线数据样本的采集系统，其特征在于，包括：摄像头集群、视线注视目标和计算设备；所述摄像头集群包括：第一摄像头群组和第二摄像头群组；所述第一摄像头群组包括：至少一个RGBD摄像头；所述第二摄像头群组包括：驾驶员监控系统摄像头、车内人员监控系统摄像头和可测深度摄像头；

其中，所述视线注视目标，用于引导采集对象的视线；

所述摄像头集群中的摄像头分别用于采集所述采集对象注视所述视线注视目标时的视线数据；

所述计算设备用于根据所述摄像头集群中各摄像头的内外参矩阵和所述视线数据确定所述摄像头集群中各摄像头采集的视线数据样本。

2.根据权利要求1所述的系统，其特征在于，所述视线数据样本的采集系统包括：基于台架模式的视线数据样本的采集系统或者基于实车模式的视线数据样本的采集系统；

在所述基于台架模式的视线数据样本的采集系统中，所述视线注视目标为显示在面向采集对象的显示屏幕上且受视线落点引导程序控制的标志图形；

在所述基于实车模式的视线数据样本的采集系统中，所述视线注视目标为设置在车辆前排且受视线落点引导程序控制的二维码标定板。

3.根据权利要求2所述的系统，其特征在于，在所述基于台架模式的视线数据样本的采集系统中还包括：光源模拟模块；

所述光源模拟模块包括：光谱可调LED面阵光源，用于模拟车辆在不同场景下的光照环境。

4.根据权利要求2所述的系统，其特征在于，所述系统还包括：棋盘格标定板以及具有摄像和显示功能的电子设备；

通过所述电子设备拍摄所述棋盘格标定板得到第一数量的第一棋盘格图像；

通过所述电子设备拍摄第二数量的标定图像；通过各所述摄像头分别拍摄在所述电子设备上所显示的棋盘格图像，得到第一数量的第二棋盘格图像；

根据第一数量的第一棋盘格图像和第二棋盘格图像进行参数标定，获得所述电子设备和各所述摄像头的内外参矩阵；

根据所述电子设备拍摄的第二预设数量的标定图像确定所述电子设备和所述标定图像的外参矩阵；

根据所述电子设备和各所述摄像头的内外参矩阵，以及所述电子设备和所述标定图像的外参矩阵，确定各所述摄像头的内外参矩阵。

5.根据权利要求4所述的系统，其特征在于，

在所述基于台架模式的视线数据样本的采集系统中，所述标定图像为在所述显示屏幕上显示的棋盘格图像；

在所述基于实车模式的视线数据样本的采集系统中，所述标定图像为所述二维码标定板所显示的二维码图像。

6.一种视线数据样本的采集方法，其特征在于，应用于权利要求1-4任一所述的视线数据样本的采集系统中的计算设备，所述方法包括：

获取视线数据样本的采集系统的摄像头集群中所有摄像头的内外参矩阵，以及视线注视目标在世界坐标系下的世界坐标；所述摄像头集群包括：第一摄像头群组和第二摄像头群组；所述第一摄像头群组包括：至少一个RGBD摄像头；所述第二摄像头群组包括：驾驶员监控系统摄像头、车内人员监控系统摄像头和可测深度摄像头；

获取第一目标摄像头采集的采集对象在注视着视线注视目标时的面部图像和深度图像，对所述面部图像进行面部关键点检测得到面部关键点；并根据所述深度图像和所述第一目标摄像头的内参矩阵确定所述面部关键点在第一目标摄像头坐标系下的三维坐标；其中，所述第一目标摄像头是基于所述采集对象的面部朝向从所述第一摄像头群组中所确定的RGBD摄像头；

获取电子设备和标定图像的外参矩阵，根据所述电子设备和所述标定图像的外参矩阵以及所述第一目标摄像头的内外参矩阵，确定所述视线注视目标的世界坐标映射到所述第一目标摄像头坐标系下的三维坐标；

根据所述面部关键点和所述视线注视目标在所述第一目标摄像头坐标系下的三维坐标，以及所述摄像头集群中各摄像头的内外参矩阵，确定所述摄像头集群中各摄像头采集的视线数据样本。