[发明专利]一种事件相机与传统光学相机的时空匹配方法

权利要求书

1.一种事件相机与传统光学相机的时空匹配方法，其特征在于，包含以下步骤：

步骤1，在静态场景中获取事件相机和传统光学相机输出的图像帧后，首先利用双线性插值将传统相机的图像分辨率与事件相机的图像分辨率相同，并基于结构相似性SSIM，利用事件相机输出的图像帧和下采样后传统光学相机输出的图像帧进行视框匹配搜索；

步骤2，使用Sobel边缘提取算子对传统光学相机输出的图像帧序列进行场景结构提取，并根据步骤1搜索得到的视框区域进行裁剪以及双线性插值，得到关于场景的结构特征图序列；

步骤3，在假定的时间偏移量下，通过将事件流重表示为与传统光学相机帧率相同、时间同步的事件帧序列，并根据步骤1中的视框区域进行裁剪，得到场景的结构特征图序列；

步骤4，在一定时间范围内匹配搜索时差，在不同假定时差下重复步骤3生成事件流的结构特征图序列，并与步骤2中得到的结构特征图序列计算平均结构相似度指标，从而得到精确的时间偏移量，输出最佳的时差匹配结果。

2.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：步骤1中所述的事件相机图像帧I^E与传统光学相机图像帧I^F表示为：

其中，(H_E，W_E)为事件相机图像尺寸，(H_F，W_F)为传统光学相机图像尺寸。

3.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：步骤1中的双线性插值表示为：

其中，I指图像，P＝(x，y)为待插值点坐标，R₁＝(x，y₁)，R₂＝(x，y₂)为x方向上的第一次插值坐标，Q₁₁＝(x₁，y₁)，Q₁₂＝(x₁，y₂)，Q₂₁＝(x₂，y₁)，Q₂₂＝(x₂，y₂)，为邻近的四个像素点坐标，由于该系统传统光学相机的图像分辨率是事件相机的两倍，因此使用双线性插值对传统光学相机图像帧进行1/2倍的下采样。

4.根据权利要求1所述事件相机与传统光学相机的时空匹配方法，其特征在于：在步骤1中结构相似度可以被表示为：

SSIM(X，Y)＝[L(X，Y)^a]×[C(X，Y)^b]×[S(X，Y)^c]

其中，SSIM为结构相似度计算函数，a＞0，b＞0，c＞0为各分量的加权系数；μ_X和μ_Y分别代表X和Y的均值，σ_X、σ_Y和σ_XY分别代表图像X和Y的方差以及二者的协方差，C₁，C₂，C₃为用来维持运算稳定的常数，避免除零，其表示为：

C₁＝(k₁L)²

C₂＝(k₂L)²

C₃＝C₂/2

其中，设置k₁，k₂为尺度系数，L为图像灰度级数。