[发明专利]用于事件相机数据处理的系统和方法

说明书

在一些实施方案中，在具有处理器、非暂态存储器和包括分布在区域上的像素传感器的事件相机的设备处执行一种方法。该方法包括通过将第一时间段分成子时段以及对事件流的像素事件进行合并而将在第一时间段内来自像素传感器的事件流转换为事件帧，其中子时段中的每个子时段与帧子时段标识符相关联。该方法还包括通过将区域细分为图块来对像素传感器进行寻址，其中每个图块包括像素传感器的分组，并且特定像素传感器的图块地址为图块标识符和特定像素传感器的位置定位符的组合。该方法还包括根据图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。

相关申请的交叉引用

本申请要求于2017年9月28日提交的美国临时专利申请No.62/564,818的优先权，该申请据此全文以引用方式并入。

技术领域

本公开整体涉及数字图像处理领域，并且更具体地涉及由事件相机捕获的事件数据的编码。

背景技术

强度帧相机使用钟控图像传感器从场景采集视觉信息。通过使用所有图像传感器，不管特定像素处的信息是否在上次拍摄图像后已改变，强度帧相机以预设帧速率拍摄图像。在各种情况下，这导致冗余。随着图像传感器发展至更高的空间分辨率和时间分辨率，冗余的量增加。因此，后处理所需的硬件的容量、复杂性和成本增加。进一步的功率消耗上升到可在电池供电的移动设备中禁止使用的水平。

事件相机在传感器平面处直接执行视觉信息的预处理。事件相机包括仿生视觉传感器，其输出像素级亮度变化而非标准强度帧。输出生成是受事件控制的，并且仅在检测到场景中的一个或多个变化时发生。例如，通过使用事件相机传感器，所记录的相关信息包括由各个自主操作像素接收的照明强度的变化。不感测其视场变化的像素不产生输出。因此，在由像素事件传感器递送的数据流内仅包括关于可变对象的信息，并且不存在关于均匀表面或无运动背景的信息(例如，无灰度级信息形式的强度帧图像数据)。

与强度帧相机相比，事件相机具有显著的优点，即高动态范围和低延迟(例如，大约微秒)。然而，在具有快速运动的纹理化场景中，每秒生成数百万个事件。为了处理此类繁忙场景，现有事件过程可能需要大量并行计算。

发明内容

因此，本文描述了由事件相机进行高效数据处理的系统和方法。此类系统和方法在时间段内累积事件以便产生事件帧。与由强度帧相机生成的帧不同，本文所公开的每个事件帧表示两个限定时间戳之间的事件的聚合。通过聚合帧中的事件并将帧头与相应子时段标识符相关联，减少了在单个事件中具有时间戳的开销。在一些实施方案中，事件帧被划分为图块。根据每个图块中的事件的数量，对包含高于阈值量的多个事件的繁忙图块被编码，以进一步降低对每个单独像素进行寻址的开销。此类系统和方法因此导致事件数据的减少并且使得能够以低延迟进行有效的事件相机数据处理。

根据一些实施方案，在具有一个或多个处理器、非暂态存储器和包括分布在第一区域上的多个像素传感器的事件相机的设备处执行一种方法。该方法包括：通过将第一时间段分成多个子时段以及基于多个子时段和像素事件的相应时间戳对事件流的像素事件进行合并而将第一时间段内来自像素传感器的事件流转换为事件帧，其中多个子时段中的每个子时段与对应的帧子时段标识符相关联。该方法还包括通过将第一区域细分为图块来对多个像素传感器进行寻址，其中所述图块中的每个图块包括多个像素传感器的相应分组，其中特定像素传感器的图块地址为相应图块标识符和与相应图块标识符相关联的特定像素传感器的位置定位符的组合。该方法另外包括根据相应图块地址、帧子时段标识符和亮度指示符值对像素事件进行编码。