[发明专利]利用事件相机的视觉惯性里程计

说明书

本发明涉及一种为包括事件相机的视觉惯性里程计生成经运动校正的图像的方法，该事件相机刚性连接至惯性测量单元(IMU)，其中，事件相机包括布置在图像平面中的像素，该像素被配置为在场景中存在亮度变化的情况下于亮度变化发生时输出事件(e)，其中每个事件(e)包括事件被记录的时间和检测到亮度变化的相应像素的位置，该方法包括以下步骤：获取事件的至少一个集合(S)，其中，至少一个集合(S)包括多个后续事件(e)；在至少一个集合(S)的持续时间内获取IMU数据(D)；从事件(e)的至少一个集合(S)生成经运动校正的图像，其中通过将在各个事件的对应事件时间(t_j)处、于经估计的相机位姿处记录的各个事件(e_j)的位置(x_j)分配给经调整的事件位置(x＇_j)来获得经运动校正的图像，其中通过对就在参考时间处的经估计的参考相机位姿而言的事件(e_j)的位置进行确定来获得经调整的事件位置(x＇_j)，其中通过IMU数据(D)来对在事件时间(t_j)处的经估计的相机位姿和在参考时间处的经估的计参考相机位姿进行估计。

本发明涉及一种用于从视觉惯性里程计的事件相机生成经运动校正的图像的方法，以及涉及一种用于利用事件相机的视觉惯性里程计的方法。

诸如动态视觉传感器(Dynamic Vision Sensor,DVS)之类的事件相机的工作方式与传统相机截然不同。

它们具有独立的像素，这些像素仅在场景中存在亮度变化的情况下于亮度变化发生时发送被称为事件的信息。

因而，输出不是强度图像，而是特别地在微秒分辨率下的异步事件流，其中每个事件包括事件被记录的时间和检测到亮度变化的相应像素的位置或地址，以及亮度变化的符号(称为极性)。

由于事件是由随时间推移的亮度变化引起的，所以事件相机自然会在存在相对运动的情况下响应场景中的边缘。

事件相机比标准相机具有许多优势：微妙级的延迟、低功耗以及非常高的动态范围(130dB，相比较，标准的、基于帧的相机为60dB)。

最重要地，由于所有像素均是独立的，所以这种传感器不会固有地遭受运动模糊的影响。

这些特性使得事件相机对于快速响应和高效率是至关重要的应用以及对于照明变化很大的场景而言是理想的传感器。

此外，由于仅在存在亮度变化的情况下发送信息，所以传感器消除了标准相机固有的冗余，因而需要非常低的数据速率(千字节vs兆字节)。这种带有IMU的事件相机的一种示例是DAVIS[3]。

这些特性使事件相机在快速响应和高效率的应用中以及在照明变化很大的场景中很重要。另外，由于信息特别是仅当像素的亮度变化时才生成，所以事件相机消除了传统基于帧的相机的固有信息冗余，因而需要较低的数据速率。

事件相机的输出不是强度图像，而是在微秒分辨率下的特定异步事件流，其中每个事件由其时空坐标和亮度变化的符号(即无强度)组成。由于事件是由随着时间的推移的亮度变化引起的，所以事件相机自然会在存在相对运动的情况下响应场景中的边缘。

事件相机被用于视觉里程计，即针对基于视觉数据估计传感器在空间中的位置和取向的任务。视觉里程计发现特别是在同步定位与建图(simultaneous localization andmapping,SLAM)应用中的应用。

下文中，取向和位置归纳在术语“位姿”下。取向和位置各自可以包括多达三个自由度。取向例如可以通过所谓的欧拉角来描述，其中位置可以通过在特定参考系中的笛卡尔坐标来说明。因此，位姿特别地包括六个自由度。

与视觉里程计或基于视觉的SLAM相比，如果对于里程计或SLAM分别不仅使用了视觉数据而且还使用了来自惯性测量单元(inertial measurement unit,IMU)的惯性数据，那么被称为视觉惯性里程计(visual-inertial odometry,VIO)或视觉惯性SLAM。