[发明专利]非对称式多摄像头的深度重建及眼动追踪方法及系统

权利要求书

1.一种非对称式多摄像头的深度重建方法，其特征在于，包括以下步骤：

通过固定于不同位置的至少一个可见光摄像头和至少一个红外摄像头组成的摄像头组，分别获取物体的图像；

在两个图像中获取成对的特征点，确定物体上的特征点分别在所述可见光摄像头的成像平面上的坐标和所述红外摄像头的成像平面上的坐标；

确定所述可见光摄像头和所述红外摄像头镜头中心位置，以及所述可见光摄像头和所述红外摄像头各自成像平面的位置，并确定成对的特征点的位置，根据成对特征点的位置重建所述特征点的深度以及三维坐标。

2.根据权利要求1所述的非对称式多摄像头的深度重建方法，其特征在于，所述确定成对的特征点的位置，包括：计算得到所述特征点在所述可见光摄像头和所述红外摄像头中的各自的像平面中的坐标，并转换到同一个固定的坐标系中。

3.根据权利要求2所述的非对称式多摄像头的深度重建方法，其特征在于，所述根据成对特征点的位置重建所述特征点的深度，计算公式如下：

Z＝b*f/(XL-XR)

其中，Z为特征点的深度，即特征点到相机平面的距离；b是所述可见光摄像头和所述红外摄像头的光心距离；f为焦距；XR和XL分别为成对的两个特征点的成像点分别在所述可见光摄像头像平面上和所述红外摄像头像平面上距离图像左边缘的距离。

4.一种非对称式多摄像头的眼动追踪方法，其特征在于，包括以下步骤：

采用如权利要求1至3中任一项所述的非对称式多摄像头的深度重建方法，成对获取人脸的面部特征点的位置，并对面部特征点重建深度和三维坐标，获得人脸的三维图像；

成对获取人眼的瞳孔中心点的位置，并对瞳孔中心点重建深度，获得人眼的深度和三维坐标。

5.根据权利要求4所述的非对称式多摄像头的眼动追踪方法，其特征在于，还包括根据所述人眼的深度、所述人眼的瞳孔中心点的三维坐标、以及所述红外摄像头或可见光摄像头、光源的位置，光线从空气进入眼睛的折射关系建立空间几何模型，根据所述空间几何模型计算眼球的光轴方向；

并根据所述光轴方向和预设的个体校准方式确定眼球的视轴方向；

获取相邻时刻的所述眼球的视轴方向实现眼动追踪。

6.根据权利要求5所述的非对称式多摄像头的眼动追踪方法，其特征在于，所述瞳孔中心点根据所述红外摄像头确定。

7.根据权利要求5所述的非对称式多摄像头的眼动追踪方法，其特征在于，所述眼球的光轴方向，为瞳孔中心p和角膜曲率中心c的连线，所述瞳孔中心和角膜曲率中心之间的距离为K,K＝||p-c||。

8.一种非对称式多摄像头的深度重建系统，其特征在于，包括：

摄像头组，所述摄像头组包括固定于不同位置的至少一个可见光摄像头和至少一个红外摄像头以分别获取物体的图像；

位置标定单元，用于根据物体上的特征点分别在所述可见光摄像头像平面上的坐标和所述红外摄像头像平面上的坐标，以及所述可见光摄像头和所述红外摄像头的相对位置，确定所述成对的特征点的位置；

深度重建单元，用于在通过位置标定单元成对获取所述物体上的特征点的图像并获得所述特征点的位置后，根据成对特征点的位置重建所述特征点的深度以及三维坐标。

9.根据权利要求8所述的非对称式多摄像头的深度重建系统，其特征在于，所述位置标定单元包括特征点坐标计算子单元，所述特征点坐标计算子单元用于计算得到所述特征点在所述可见光摄像头和所述红外摄像头中的一个固定像平面坐标系中的坐标。

10.一种非对称式多摄像头的眼动追踪系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求4至7中任一所述方法的步骤。