[发明专利]非对称式多摄像头的深度重建及眼动追踪方法及系统

说明书

本发明公开了一种非对称式多摄像头的深度重建及眼动追踪方法及系统，该方法包括：通过固定于不同位置的至少一个可见光摄像头和至少一个红外摄像头组成的摄像头组，分别获取物体的图像；在两个图像中获取成对的特征点，并确定成对的特征点的位置，根据成对特征点的位置重建特征点的深度以及三维坐标。通过红外摄像头能准确获得瞳孔边界信息和瞳孔中心点，同时可见光摄像头能应用于多种色彩需求的场合。非对称式多摄像头的深度重建系统可应用于面部特征点做深度重建和三维头部追踪，并进一步实现准确的眼动追踪。

技术领域

本发明涉及人工智能及人机交互领域，尤其涉及一种非对称式多摄像头的深度重建及眼动追踪方法及系统。

背景技术

从成像类型可将眼动追踪分两种类型：

第一类是使用红外补光以及红外相机(或者是红外滤光片)的成像模式进行眼动追踪。这样有两方面的优势，一方面瞳孔与虹膜的分界比较清晰，所以能够更加准确地找到瞳孔的边界；同时瞳孔不容易被上下眼皮遮挡，这样也更有利于对找准瞳孔的边界。另一方面，用于补光的红外灯可以让成像有稳定的光照环境，在晚上或者弱光条件下可以使用，同时补光的红外灯会在巩膜上形成镜面反射，从而成为眼动运动的参照物。红外成像的缺点在于只有单通道成像(只有灰度值而没有RGB红绿蓝不同的颜色通道)，色彩单调不适合颜色相关的任务。因此红外成像相对于可见光来说，它的应用场合比较明确，通常专门为眼动追踪而设计，因此应用范围较窄。

第二类是在可见光下的眼动追踪，使用普通的可见光成像，通常通过捕捉用户的面部特征点和找瞳孔或者虹膜+瞳孔整体部分的中心来确定眼球的眼动和用户的关注点。可见光成像的优势在于硬件的普遍性和硬件设置上的简单，在现有的各种设备中往往都已经有可见光摄像头，例如手机的前置或者后置摄像头，平板电脑或者笔记本电脑的摄像头。但是其劣势在于可见光下瞳孔与虹膜的分界不明显，尤其是在深色虹膜的人群中虹膜，瞳孔与虹膜的颜色较为接近。另外虹膜容易被用户的眼皮上下遮挡，所以在可见光下瞳孔中心难以准确获得。可见光成像也容易受到环境中反光、眩光等情况的影响，也会导致瞳孔中心难以准确获得。

目前，可见光双目成像目前应用较为广泛，通常采用对称式的双目成像元件，在机器人或者人工智能交互设备中较常见，左右镜头通常同为可见光摄像头或者同为红外摄像头，并且左右镜头的参数一致或者相似。其缺点主要在于受光照条件影响很大，并且在深度重建的时候提取对应的特征点计算量很大。应用于眼动追踪时，可见光双目成像的主要缺点在于难以获得准确的瞳孔中心位置。

发明内容

本发明提供了一种非对称式多摄像头的深度重建及眼动追踪方法及系统，用以解决眼动追踪中色彩和准确的瞳孔中心位置难以兼顾的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种非对称式多摄像头的深度重建方法，包括以下步骤：

通过固定于不同位置的至少一个可见光摄像头和至少一个红外摄像头组成的摄像头组，分别获取物体的图像；

在两个图像中获取成对的特征点，确定物体上的特征点分别在所述可见光摄像头的成像平面上的坐标和所述红外摄像头的成像平面上的坐标；

确定所述可见光摄像头和所述红外摄像头镜头中心位置，以及所述可见光摄像头和所述红外摄像头各自成像平面的位置，并确定成对的特征点的位置，根据成对特征点的位置重建所述特征点的深度以及三维坐标。

优选地，所述确定成对的特征点的位置，包括：计算得到所述特征点在所述可见光摄像头和所述红外摄像头中的各自的像平面中的坐标，并转换到同一个固定的坐标系中。

优选地，所述根据成对特征点的位置重建所述特征点的深度，计算公式如下：

Z＝b*f/(XL-XR)