[发明专利]基于事件相机的运动补偿方法

摘要

本发明提供一种基于事件相机的运动补偿方法，利用惯性测量单元(Inertial Measurement Unit,IMU)输出的加速度和角速度，通过积分预测两帧图像之间的运动关系，即旋转、平移和速度，先判断速度的大小，线性的减少两帧之间的事件点数量，然后通过剩余事件点的时间信息进行线性插值，得到每一个事件点的运动(旋转和平移)。将两帧之间的事件点的像素坐标通过相机投影模型和深度反投影到三维世界坐标系下，然后根据预测得到的每个点的运动，做相应的变换，再通过相机模型投影到像素坐标，得到补偿以后的事件点。最后将这些事件点合成，即得到了运动补偿以后的图像，消除了运动模糊。

主权项

1.基于事件相机的运动补偿方法，其特征在于，包括如下步骤：步骤1，高分辨率事件相机运动的过程中，同时输出一系列事件点和IMU数据，IMU数据包括线加速度和角速度；步骤2，利用输出数据的时间戳，将事件点和IMU数据在时间上对齐；步骤3，选取一段时间的事件点，t_j为其中一个事件点的时间戳，为前一帧事件点合成的图像，为当前帧图像；然后将这一段时间内的IMU数据积分得到两帧之间的变换关系，即其中，线加速度二次积分得到平移t，角速度积分得到旋转R；步骤4，将线加速度积分得到速度判断速度大小，速度越大从前往后取越少数量的事件点，速度越小则取越多数量的事件点；步骤5，根据剩余事件点的时间戳，将进行线性插值，预测得到每一个事件点的运动即步骤6，每个事件点x_j都带x,y坐标信息，将像素坐标通过相机投影模型π和深度Z(x_j)反投影到世界坐标系，即Z(x_j)π^‑1(x_j)；步骤7，然后根据步骤5得到的事件点的运动在三维坐标下对事件点进行变换，即步骤8，再通过相机投影模型π将坐标投影到像素坐标上，得到运动补偿后的事件点步骤9，将这一段时间内经过运动补偿的事件点累积合成图像帧，即得到消除运动模糊后的图像帧。