[发明专利]基于事件相机的数据处理及运动估计方法及装置

说明书

本发明提出一种基于事件相机的的数据处理及运动估计方法及装置，其中方法包括，获取事件流数据，并获取事件流数据对应的更新时间；根据更新时间对事件流数据进行预处理编码，得到事件流数据对应的编码数据；并对编码数据通过下采样方法进行处理，生成训练数据；将事件流数据恢复成事件量图，对事件量图通过下采样方法进行处理，生成二值自监督图像；将训练数据输入神经网络中进行训练，并利用自监督图像以及整体损失函数进行训练损失计算，完成神经网络的训练；通过训练完成后的神经网络进行运动估计。该方法通过脉冲神经网络对编码数据进行处理，可以用于运动估计，光流估计，物体追踪等应用。

技术领域

本发明涉及计算视觉领域，涉及一种基于事件相机的运动估计方法。

背景技术

当前针对的事件相机处理方式主要有：(1)将事件流数据恢复成二值图，然后在二值图上使用传统的视觉算法进行数据的运动估计处理；(2)从事件流数据中提取不同极性的时空信息，分别对其进行处理来实现需求。对于传统图像数据，主要是通过如帧差法等进行运动估计。

对于现有的基于事件相机的数据处理方式，在学习过程中需要提供灰度图来进行自监督学习，对于自采集数据，该方法具有较高的采集成本，因此极度依赖数据集。并且对于现有方法，大量算法需要异步事件流提供极性信息，而对于一些型号的事件相机无法保证同时提供极性信息以及异步时间戳信息，导致了一些算法缺乏通用性。

并且对于现有的神经网络处理方法，大部分采用传统神经网络的方式，未能最大限度的发挥出事件相机异步更新且时空离散的优势，同时能够大幅降低数据运算量。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于事件相机的数据处理及运动估计方法，用于运动估计，光流估计，物体追踪等应用。

本发明的第二个目的在于提出一种基于事件相机的数据处理及运动估计装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种基于事件相机的数据处理及运动估计方法，包括：

获取事件流数据，并获取所述事件流数据对应的更新时间；

根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；

将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；

将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；

通过训练完成后的神经网络进行运动估计。

另外，根据本发明上述实施例的基于事件相机的数据处理及运动估计方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据，包括：

根据采样时间进行事件截取；

通过“事件-时间”的编码方式对截取的事件循环编码；

输出编码数据。

进一步地，在本发明的一个实施例中，所述通过“事件-时间”的编码方式对截取的事件循环编码，包括：

将所述截取的事件均分为N部分；