[发明专利]基于事件相机的可变形对象跟踪

权利要求书

1.一种系统，包括：

事件相机，所述事件相机包括像素传感器的二维(2D)阵列；

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器通信地耦接至所述非暂态计算机可读存储介质和所述事件相机，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使得所述系统执行操作，所述操作包括：

接收由所述事件相机输出的像素事件流，所述事件相机包括多个像素传感器，所述多个像素传感器被定位成接收来自设置在所述事件相机的视场内的场景的光，每个相应像素事件响应于相应像素传感器检测到超过比较器阈值的光强度变化而生成；

使用所述像素事件流来识别设置在对象的可变形表面上的特征；以及

生成所述对象的动态表示，所述动态表示包括所述特征；

响应于获得由所述事件相机输出的附加像素事件，修改所述对象的所述动态表示；以及

输出所述对象的所述动态表示以用于进一步处理。

2.根据权利要求1所述的系统，还包括第二事件相机，其中修改所述对象的所述动态表示包括：

在来自所述事件相机的所述像素事件流中识别所述特征；

在来自所述第二事件相机的第二像素事件流中识别所述特征；以及

基于将从来自所述事件相机的所述像素事件流识别的所述特征与从来自所述第二事件相机的所述第二像素事件流识别的所述特征相关，跟踪所述特征的三维(3D)位置。

3.根据权利要求1至2中任一项所述的系统，其中识别所述特征包括：

识别对应于所述像素事件流中的所述特征的像素事件的模式。

4.根据权利要求3所述的系统，其中修改所述对象的所述动态表示包括：

基于识别与所述附加像素事件中的所述特征对应的所述像素事件的模式，修改所述对象的所述动态表示中的所述特征的位置。

5.根据权利要求1至4中任一项所述的系统，其中修改所述对象的所述动态表示包括：

通过跟踪点的稀疏集合或密集流场来随时间跟踪所述特征的空间位置。

6.根据权利要求1至5中任一项所述的系统，其中修改所述对象的所述动态表示包括：

将所述像素流中的所述特征与所述对象的三维(3D)模型的特征相关；以及

基于所述相关来计算所述对象的3D表示。

7.根据权利要求1所述的系统，其中生成所述对象的所述动态表示包括使用所述像素事件流作为机器学习架构的输入。

8.根据权利要求7所述的系统，其中生成所述对象的所述动态表示包括：

生成包括来自所述像素事件流的累积事件数据的输入，所述输入包括：

单元栅格，所述单元栅格表示在所述事件相机的对应像素传感器处在预先确定的时间段内发生的固定数量的事件；

其中图像像素对应于所述事件相机的对应像素的时间上累积像素事件的图像；

其中图像像素对应于自从在所述事件相机的对应像素传感器处识别像素事件以来的时间量的图像；或者

所述对象的全帧基于快门的图像，所述图像取自与所述事件相机相同的位置或相对于所述事件相机的已知位置；以及

经由卷积神经网络(CNN)生成所述动态表示，其中所述输入被输入到所述神经网络。

9.根据权利要求7所述的系统，其中生成所述对象的所述动态表示包括：

生成包括来自所述像素事件流的累积事件数据的输入；以及

经由循环神经网络生成所述动态表示，其中所述输入被输入到所述神经网络，其中所述循环神经网络使用潜在状态来跟踪从先前接收的事件数据确定的所述对象的先前状态。