[发明专利]一种基于增强现实技术的可见光相机与雷达联合探测方法

权利要求书

1.一种基于增强现实技术的可见光相机与雷达联合探测方法，其特征在于，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示，具体包含如下步骤：

S1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现；

S2，对雷达模块与双目相机模块进行联合外参标定，通过外参联合标定获得雷达模块和双目相机模块之间的位移、旋转六参数；

S3，相机图像校正变换；使用双目标定及校正参数，对右测单目相机获得的图像进行双目校正变换，使得左右单目相机同名点在左右图像的同一行；

S4，雷达图像校正变换；根据雷达模块与双目相机模块外参标定矩阵，将雷达图像数据以及目标数据转换到相机坐标系，得到雷达校正变换图像；

S5，增强现实融合；采用双线性插值的方法，将雷达校正变换图像叠加到左相机图像，完成雷达探测和可见光相机成像的增强现实融合；

S6，隐藏目标判定；由于雷达探测的目标可能属于前景或后景，而相机图像总是探测前景，通过对雷达数据和相机数据进行融合处理，以判定是否属于隐藏目标；

所述的步骤S6，具体包括：

S61，对于雷达探测的目标，根据其对应的左单目相机图像的像素坐标，进行左右图像的立体匹配，获得可见光右图像的同名点；

S62，根据双目相机的基线长度和同名点视差，计算该点的深度h₀；

S63，根据光学图像的深度值h₀和雷达探测距离值h_r的比较结果，确定该目标属于前景或后景；若h₀＜h_r，则该目标属于后景，否则目标属于前景；若为后景目标，则属于隐藏目标。

2.一种如权利要求1所述的基于增强现实技术的可见光相机与雷达联合探测方法，其特征在于，所述的步骤S1，具体包括：

S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；

S12，对于双目相机模块外参校正，采用标定板，获得双目相机模块中左右相机各自的位移、旋转六参数其中x，y，z分别为x轴、y轴和z轴的位移，分别为相机俯仰角、偏航角和翻滚角，计算右相机的单应映射矩阵。