[发明专利]一种建立事件相机与帧相机数据关联的方法及装置

说明书

本发明公开了一种建立事件相机与帧相机数据关联的方法及装置，基于transformer的神经网络，显式地建立事件相机与帧相机的数据关联，很好地结合了帧相机和事件相机的优势，避免了事件相机位姿估计中的初始解敏感问题，同时保证了精度，使得事件相机和帧相机的组合在不同的应用场景下都表现地更好、更加稳定，可以应用到多个应用场景中，比如深度估计、相机位姿估计等等。此外，本发明的方法和装置，在构造的仿真数据集上进行训练，并在真实数据上取得了比较好的效果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于transformer网络建立事件相机与帧相机数据关联的方法及装置。

背景技术

近年来，增强现实(Augmented Reality)/虚拟现实(Virtual Reality)行业和自动驾驶行业发展迅速，元宇宙、新能源汽车吸引了社会广泛的关注。三维计算机视觉技术的突破性发展是相关行业取得发展的必要条件之一。增强现实中的视觉定位与导航、虚拟现实应用中的低成本三维重建、自动驾驶中导航功能，主要的挑战之一就是如何进行快速、准确的相机位姿估计，以及进行准确的场景深度估计。其中位姿估计的意思是使用三维计算机视觉技术计算手机或者车辆的位姿(pose)，包括相机平移以及相机旋转。

在基于先验地图的帧相机位姿估计中，当相机发生高速运动或相机所在的场景光线环境不佳的时候，传统的帧相机往往无法拍出清晰的图像，会导致这些条件下相机位姿估计的结果变得很差。而事件相机参考人类视觉系统硅视网膜的设计，异步地捕捉场景动态信息，其高时间分辨率(10μs)，高动态范围(120dB)的特性使得相机在高速运动或所处环境光线不佳时仍然能够拍到捕获到比较清晰的信息。在场景深度估计任务中也也可得较好的应用。

尽管事件相机在位姿估计、深度估计中具有高时间分辨率和高动态范围的优势，但是，事件相机通常空间分辨率较低，比如DAVIS240的像素分辨率仅为180×240，而且事件相机只记录灰度信息，这导致在重建先验地图上事件相机具有很大的劣势。

目前，最好的事件相机三维重建也仅仅局限在小范围的场景重建，而现有的帧相机三维重建工作已经可以处理城市级别的场景重建。基于此，本发明提出构想：如果能够实现用帧相机构建先验地图，再用事件相机基于先验地图来进行位姿估计，就能够很好地结合这两种相机各自的优势，解决之前仅仅使用帧相机或者仅仅使用事件相机都无法解决的实际问题。同样的，在深度估计场景下，结合两种相机不同的特性也能够更准确地进行深度估计。

然而，利用事件相机的生成模型来建立事件流到图像的匹配，生成模型是根据相机的运动信息在事件流和图像之间建立关联，从而建模出一个最大似然问题，并用最优化的方式进行求解。这种基于跟踪的方法来进行相机定位，当相机的初始解不好的时候，最终优化得到的解会偏差特别大。基于生成模型建立事件相机和帧相机之间的数据关联在拓展上具有局限性，很难拓展到其他场景或者任务中。同时，基于注意力机制的神经网络，端到端地输入图片和事件相机数据，输出场景的深度估计结果，缺乏显式地建立帧相机与事件相机数据关联的过程，容易在具体的任务和场景下过拟合，并且整套方案的可迁移性差。

发明内容

本发明针对上述基于生成模型建立事件相机和帧相机之间的数据关联在拓展上具有局限性、可迁移性差的问题，提出一种基于transformer网络建立事件相机与帧相机数据关联的方法，显式地建立事件相机与帧相机的数据关联，可以应用到多个应用场景中，并在相机位姿估计中不存在初始解敏感的问题，同时保证精度。

为了实现上述目的，本发明提供如下技术方案：

一方面，本发明提供了一种建立事件相机与帧相机数据关联的方法，包括以下步骤：

S1、输入事件相机与帧相机的事件流以及图像帧，将事件流表示为时间表面的形式，事件相机与帧相机的帧图像采用灰度图分别送入两个不同的FPN去提取不同层次的粗特征；