[发明专利]基于事件相机的可变形对象跟踪

说明书

本文所公开的各种具体实施包括使用事件相机数据来跟踪可变形对象诸如面部、手和其他身体部位的设备、系统和方法。一个示例性具体实施涉及接收由事件相机输出的像素事件流。该设备使用该数据来跟踪可变形对象。各种具体实施通过如下方式来这样做：生成对象的动态表示并且响应于获得由事件相机输出的附加像素事件，修改对象的动态表示。在一些具体实施中，生成对象的动态表示涉及使用像素事件流来识别设置在对象的可变形表面上的特征。通过识别像素事件的模式来确定特征。当接收到新事件流数据时，在新数据中识别像素事件的模式并用于修改对象的动态表示。

技术领域

本公开整体涉及对象跟踪，并且具体地讲，涉及用于使用事件相机数据来跟踪可变形对象诸如面部、手和其他身体部位的系统、方法和设备。

背景技术

现有对象跟踪系统使用对象的基于快门的相机图像来确定对象的模型，诸如对象的三维模型。现有对象跟踪系统常常包括相机，相机将对象的图像传输给执行跟踪的处理器。以足够的帧速率和分辨率传输图像以使得能够实时跟踪可变形对象通常需要具有很大带宽的通信链路。使用此类通信链路增加了设备生成的热量和功率消耗。

发明内容

本文所公开的各种具体实施包括使用事件相机数据来跟踪可变形对象诸如面部、手和其他身体部位的设备、系统和方法。一种示例性具体实施涉及在具有一个或多个处理器和计算机可读存储介质的设备处执行操作。该设备接收由事件相机输出的像素事件流。事件相机具有被定位成从可变形对象接收光的像素传感器。响应于相应像素传感器检测到相应事件相机像素处超过比较器阈值的光强度(例如，对数(log)强度)变化，生成每个相应像素事件。该设备通过累积多个事件相机像素的像素事件来从像素事件流导出图像。该设备使用该数据来跟踪可变形对象。各种具体实施通过如下方式来这样做：生成对象的动态表示并且响应于获得由事件相机输出的附加像素事件，修改对象的动态表示。在一些具体实施中，生成对象的动态表示涉及使用像素事件流来识别设置在对象的可变形表面上的特征。通过识别像素事件的模式来确定特征，并且在对象的动态表示中表示特征。当接收到新事件流数据时，在新数据中识别像素事件的模式并用于修改对象的动态表示。例如，可识别针对人的鼻尖处的特征识别的像素模式，并且用于在人脸改变时调整人的鼻子在人脸的动态表示中的位置。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1是根据一些具体实施的涉及单一事件相机的示例操作环境的框图。

图2是根据一些具体实施的涉及多个事件相机的示例操作环境的框图。

图3是根据一些具体实施的示例控制器的框图。

图4示出了功能框图，示出了根据一些具体实施的基于事件相机的可变形对象跟踪过程。

图5示出了根据一些具体实施的事件相机的框图。

图6是根据一些具体实施的基于事件相机的可变形对象跟踪的方法的流程图表示。

图7示出了根据一些具体实施的在不同时间点的事件相机数据的模式。

图8是功能框图，示出了根据一些具体实施，使用卷积神经网络进行跟踪的系统。