[发明专利]一种事件相机与传统光学相机的时空匹配方法

说明书

针对事件相机与传统光学相机观测系统存在的视场差异与时间不同步的问题，本发明提供了一种事件相机与传统光学相机的时空匹配方法。该方法基于场景结构相似性指标分别将事件相机输出的图像帧、事件流数据与传统光学相机输出的图像帧数据进行匹配搜索，得到最佳匹配视场区域与时差，从而实现事件相机与传统光学相机的时空匹配。本发明利用了事件流的高时间分辨率优势，将时间连续的事件流数重表示为与传统相机帧率同步的事件帧序列，通过提取和匹配场景结构特征实现高精度的时间匹配，解决了相机之间由于输出帧率不同步导致无法有效时间匹配的问题。

技术领域

本发明属于图像处理领域，特别涉及事件相机和传统光学相机的跨模态相机时空匹配。

背景技术

现实生活中，在机器人、遥感、目标检测与跟踪等计算机视觉领域常使用可见光、红外、深度等多模态传感器来采集多模态数据并进行融合，从而获得关于目标场景的完整信息，提高后续算法的精度。近年来，一种基于生物视网膜原理的新型动态视觉传感器(事件相机) 孕育而生，事件相机感知和测量每一个像素点在对数域的亮度变化，每当像素点的亮度变化超过阈值时则激发包含像素坐标、极性、时间戳的事件点，进而组成包含大量事件点的事件流数据。与逐帧输出图像的传统相机相比，逐像素点异步输出的特性使事件相机具有很高的时间分辨率，在高速场景中也不会出现动态模糊，并且对数域感知亮度变化的性质能使相机具有更高的动态范围，在一些极端光照场景中也可以正确成像。目前，基于事件相机与传统相机融合的成像系统被广泛应用于高速、高帧率以及高动态的场景成像与重建中。

由于目前事件相机的分辨率普遍较低，因此常使用事件相机与高分辨率传统相机同时进行数据采集并融合成像，从而获得更高分辨率的成像结果。基于双相机的数据采集系统要求两种数据在空间(视场)上匹配以及时间戳同步。然而，由于各器件的设计精度有限，以及不同相机之间的硬件设计差异，导致视场偏差和时间不同步的问题。在空间上往往可以利用事件相机和传统相机输出的静止场景图像帧来匹配视场区域。在时间上则需要使用动态场景数据进行匹配，由于事件相机输出的图像帧率较低，且与传统光学相机图像帧输出不同步，在运动场景中拍摄时无法获得时间上对应的图像帧序列，导致难以有效实现时间匹配或匹配精度低。针对这一问题，可以考虑使用事件流数据与传统相机输出的图像帧进行匹配，高时间分辨率的事件流数据可以近似连续地观测场景，因此能有效解决事件相机与传统相机图像帧序列之间无法对应的问题。然而，由于事件相机以异步事件点记录像素的亮度变化，而传统相机以图像帧记录像素的绝对亮度信息，数据结构与性质上的差异导致现有的一些匹配算法无法直接应用于事件流和图像帧数据的匹配任务。

发明内容

针对上述问题，本发明提供了一种事件相机与传统相机时空匹配方法，该方法以场景相似度作为匹配指标，首先利用事件相机和传统相机在静态场景输出的图像帧进行视场匹配，再从动态场景输出事件流和传统图像帧序列中提取共同的场景结构信息，完成时间匹配。

本发明提供的一种事件相机与传统相机时空匹配方法，包括以下具体步骤：

步骤1，视场匹配。在静态场景中获取事件相机输出的图像帧与传统相机经双线性插值后的图像帧，基于结构相似度进行视场匹配。

步骤2，动态场景图像帧结构特征提取。使用Sobel边缘提取算子对传统相机输出的图像帧序列进行场景结构提取，并根据步骤1搜索得到的视框区域进行裁剪以及双线性插值，得到关于场景的结构特征图序列。

步骤3，动态场景事件流结构特征提取。在假定的时间偏移量下，通过将事件流重表示为与传统相机帧率相同、时间同步的事件帧序列，并根据步骤1设定的视框区域进行裁剪，得到场景的结构特征图序列。

步骤4，时间匹配。在一定时间范围内匹配搜索时差，在不同假定时差下重复步骤3生成事件流的结构特征图序列，并与步骤2中得到的结构特征图序列计算平均结构相似度指标，从而得到精确的时间偏移量。

进一步的，步骤1中所述的事件相机图像帧与传统相机图像帧表示为