[发明专利]处理来自基于事件的传感器的信息的方法

说明书

基于事件的传感器具有朝向场景的像素的阵列。待处理的信息包含源自所述像素的取决于来自所述场景的入射光的变化的事件。所述方法包括：存储(S1)所述阵列的像素的集合的数据结构，所述数据结构包含针对所述集合的每一像素的与源自所述像素的最新事件相关联的事件数据；以及在从所述阵列的第一像素接收当前事件(E)后，针对包含所述阵列中的第一像素和邻近于所述第一像素的多个第二像素的像素群组检索(S2)所述数据结构中包含的任何事件数据；以及基于所述当前事件(E)和源自所述群组的像素的最新事件之间的至少一个连接性准则来标记(S3)所述当前事件。

本发明涉及机器视觉，尤其是涉及一种处理来自基于事件的传感器的信息的方法。

背景技术

机器视觉是包含用于获取、处理、分析和理解图像以供在例如以下广泛类型的应用中使用的方法的领域：安全应用(例如，监控、入侵检测、对象检测、面部辨识等)、环境用途应用(例如，照明控制)、对象检测和跟踪应用、自动检查、过程控制和机器人引导等。因此，机器视觉可与许多不同系统集成。

为了实现这些应用，尤其是对象检测和跟踪，有必要在机器视觉中提取图像或场景中的相关对象并对其进行分段。

在此项技术中，已经针对上述检测和跟踪开发许多标准计算机视觉算法，例如对象跟踪、同时定位与地图构建(SLAM)和视觉流。然而，那些算法是基于作为图像或场景的所关注部分的特征，例如边缘、关注点、斑点和脊线。这些特征必须在由计算机视觉算法进一步处理之前被检测和提取。

已经开发许多特征提取器，其在检测到的特征的种类、计算复杂性和可重复性方面不同。在这些当中，作为图论的算法应用的经连接组件标记(connected componentlabeling，CCL)广泛地用于基于相关点的连接性对相关点进行标记和集群。

因为所述CCL算法穿越整个图像至少一次或多次(例如，针对种子填充(seed-filing)和两遍(two-pass)算法)，所以其主要在基于帧的图像传感器上使用，所述基于帧的图像传感器针对每一传感器元件(像素)或每一像素线/列循序地或者以各种模式、像素并行地但始终以一定程度上有限且大多数时候固定的帧速率定时戳，而从场景获取视觉信息。

然而，基于帧的图像传感器在许多应用中存在限制。它们捕获和传输固定数目的帧，且因此由基于帧的图像传感器输出的数据在渲染快速运动(包含连续帧之间的对象的遮挡/去遮挡)时存在问题。这致使特征提取和跟踪变得困难。此外，归因于基于帧的图像传感器的性质，它们还具有有限的动态分辨率，这使复杂的和/或快速移动的对象的跟踪变得复杂。利用基于帧的图像传感器跟踪此些对象需要极高的帧速率，这归因于许多待处理的帧而导致非常计算密集型的实施方案；或需要非常复杂的跟踪算法，这本质上也是非常计算密集型的。此外，基于帧的图像传感器还生成大量不必要的额外开销，例如在场景中无改变的情况下的冗余帧，从而导致不必要地使用计算功率。

已经开发基于事件的传感器，来克服基于帧的图像传感器的局限性。代替于以所有像素同时的方式捕获图像且试图补偿伪影和抑制信息，基于事件的图像传感器获取由每一像素从由传感器检视的场景感测到的时间亮度特征曲线。基于事件的传感器可捕获视觉场景中的归因于由像素个别地获取的信息的高时间分辨率的快速改变的信息。在论文Posch,C.、Serrano-Gotarredona,T.、Linares-Barranco,B.和Delbruck,T.(2014)，“视网膜形态基于事件的视觉传感器：具有尖峰信号输出的生物激发相机(Retinomorphicevent-based vision sensors:bioinspired cameras with spiking output)”(IEEE会刊，102(10)，1470-1484)中论述此基于事件的机器视觉技术的更多细节。

实际上，由基于事件的传感器输出的数据使计算机视觉算法能够在高动态范围(HDR)条件中工作且对照明条件更稳健。

然而，现有的CCL算法不适合应用于基于事件的传感器的输出数据。