[发明专利]基于3D视线估计的汽车A柱遮挡区域显示方法

权利要求书

1.一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，包括：

步骤1：在汽车左右两个A柱位置各安装三个相机C1、C2和C3，所述相机C1和相机C2均安装于车身内侧，所述相机C3安装于车身外侧，分别确定三个相机C1、C2和C3的内外参量和相对位姿；

步骤2：通过相机C1和相机C2分别拍摄驾驶者的脸部区域，通过相机C3拍摄对应A柱遮挡区域附近的图像；

步骤3：分别对拍摄的脸部区域图像进行处理，得到驾驶者注视对应相机的视线向量；

步骤4：根据得到的视线向量确定遮挡区域，并在相机C3拍摄的图像中标记出遮挡区域；

步骤5：将标记有遮挡区域的图像输出并进行显示；

所述步骤3具体包括：

图像预处理：将被遮挡的第一帧图像进行通道分离和灰度转换处理；

确定人脸区域：从预处理后的图像中标注人脸关键特征点，确定人脸区域；

确定人眼区域：从人脸区域中选取眼部区域，并确定瞳孔中心位置；

计算三维坐标：分别提取人脸关键特征点和瞳孔中心点，根据相机C1、C2和C3的内外参量和相对位姿，计算人脸关键特征点和瞳孔中心点的三维坐标；

确定视线向量：通过驾驶者注视相机C1的光心确定视线向量V₁，通过驾驶者注视相机C2的光心确定视线向量V₂；

所述步骤4具体包括：

设视线向量V₁＝(x₁,y₁,z₁)，V₁'＝(x₂,y₂,z₂)，关系如下：

其中，R|t为相机C1和相机C3的旋转|平移矩阵，如下：

其中，r_1,1、r_1,2、r_1,3为向量V₁旋转至V₁'时在C1坐标系下Z方向的偏转向量，r_2,1、r_2,2、r_2,3为向量V₁旋转至V₁'时在C1坐标系下Y方向的偏转向量，r_3,1、r_3,2、r_3,3为向量V₁旋转至V₁'时在C1坐标系下X方向的偏转向量；t₁、t₂和t₃分别表示为向量V₁平移到向量V₁'时在C1坐标系下X、Y、Z方向的偏移量；

由视线向量V₁和相机C1与相机C3的旋转|平移矩阵R|t计算得到向量V₁'；

同理，由视线向量V₂和相机C2与相机C3的旋转|平移矩阵能够计算得到向量V₂'；

将向量V₁'和向量V₂'分别转换为相机C3像素坐标系下的向量，得到遮挡区域。

2.根据权利要求1所述的一种基于3D视线估计的汽车A柱遮挡区域显示方法，其特征在于，将向量V₁'转换为相机C3像素坐标系下的向量，转换公式为：

将公式变换后为：

式中，dX、dY分别为像素在X、Y轴方向的物理尺寸，(u₀,v₀)为图像原点坐标，f为相机焦距，s为比例因子(s≠0)，(x₂,y₂,z₂,0)T是向量V₁'在相机坐标系Oxyz中的齐次坐标，(X,Y,0)T是向量V₁'在图像坐标系OXY中的齐次坐标。