[发明专利]一种基于增强现实技术的可见光相机与雷达联合探测方法

说明书

本发明公开了一种基于增强现实技术的可见光相机与雷达联合探测方法，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别，利用增强现实融合显示模块完成感知信息的融合显示。本发明利用增强现实技术，实现了雷达传感器和可见光相机传感器的环境感知数据的有效融合，从而使本系统具有全天候、信息丰富、易于解译的优点，可广泛应用于各类车载的环境感知和侦察应用。

技术领域

本发明涉及视觉成像、雷达探测、多元信息融合、增强现实领域，具体涉及一种可见光雷达联合侦测及增强现实呈现系统。

背景技术

随着传感器技术以及信息处理技术的发展，多元传感器信息融合成为一个必然趋势。一方面，通过传感器特性的融合，可以避免单传感器固有缺陷，获得更广谱的探测能力；另一方面，通过多传感信息的融合，可以将多个传感器信息进行相互验证，降低系统的虚警率和漏警率，提升侦测效率。

雷达和可见光相机是目前应用最广泛的两类探测传感器。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。作为一种主动传感器，雷达具有较强的穿透能力，具有目标探测的独特优势，但雷达图像难以解译，往往需要进一步判读才能确定目标信息。可见光相机捕获可见光光谱信息，与人的视觉信息最为接近，而且可见光相机信息非常丰富，易于判读。可见光图像的不足之处在于其处理复杂度较高，目标识别和目标距离等信息也不能直接获取，需要较为复杂的计算。

结合雷达和可见光传感信息进行联合探测，具有广泛实用价值。但是，在实际应用中，雷达和可见光相机的感知信息仍然分别呈现给操作人员，这严重增加了操作难度，降低了认知效率，不利于在复杂环境下使用。

发明内容

针对现有可见光相机和雷达联合侦测操作繁琐和融合效率低的现状，本发明公开了一种基于增强现实技术的可见光相机与雷达联合探测方法，利用双目相机模块、雷达模块、信息综合处理模块、增强现实融合显示模块等来实现，双目相机模块包括分别放置于左侧和右侧的两个单目相机，利用双目相机模块感知环境的可见光信息，利用雷达模块感知环境的距离探测信息；利用信息综合处理模块完成双目相机模块和雷达模块的感知信息的融合处理，包括标定、校正、配准、目标识别等，利用增强现实融合显示模块完成感知信息的融合显示。本发明包含如下步骤：

S1，标定双目相机模块，包括单目相机内参标定和双目相机外参校正；双目相机外参校正中双目校正变换，采用固定左相机的方式实现；

S11，对于单目相机内参标定，利用标定板，采用张氏标定方法对左右两个单目相机分别进行标定；

S12，对于双目相机模块外参校正，采用标定板，获得双目相机模块中左右相机各自的位移、旋转六参数其中x，y，z分别为x轴、y轴和z轴的位移，ω，κ分别为相机俯仰角、偏航角和翻滚角，计算右相机的单应映射矩阵；

S2，对雷达模块与双目相机模块进行联合外参标定，通过外参联合标定获得雷达模块和双目相机模块之间的位移、旋转六参数。

S21，利用雷达模块测量得到目标距离信息的三维探测数据，利用双目相机模块测量得到目标的二维成像数据，雷达数据和相机测量数据满足方程：

x_cam＝K_camR_eo(X_rad-T_eo)，