[发明专利]实时跟踪补偿图像效果

说明书

移动设备可以使用异步处理流水线来生成实时复杂视觉图像效果。第一流水线将诸如神经网络之类的复杂图像处理应用于实况图像序列的关键帧。第二流水线生成描述图像序列中的特征转换的流图。流图可以用于在运行中处理非关键帧。已处理的关键帧和非关键帧可以用于实时地或接近实时地在移动设备上显示复杂的视觉效果。

优先权申请

本申请要求享有于2017年9月15日提交的美国专利申请序列号15/706,096的优先权的权益，其中每个优先权的权益在此都被要求保护，并且将上述申请的内容通过引用整体并入本文。

技术领域

本公开一般涉及被配置到管理电子图像处理的专用机器的技术领域的机器以及对这种变体的改进机器，并且涉及与用于管理异步实时图像序列处理的其他专用机器相比，使这种专用机器得到了改进的技术。

背景技术

计算机可以使用复杂的计算机视觉(CV)方案(例如卷积神经网络)来执行图像处理。CV方案可能需要密集的计算，并且通常需要强大的处理器和大量的存储器。

在移动装置上执行CV方案通常是不切实际的，因为移动装置的计算资源有限的，这会导致较长的处理时间。更有甚者，使用移动设备实时(例如，每秒30帧)应用密集CV方案当前是非常困难的，如果不是不可能的话。

附图说明

为了容易地识别任何特定元件或动作的讨论，参考数字中的最高有效数字指的是首次引入该元件或动作的附图(″图″)编号。

图1是示出用于通过网络交换数据(例如，消息和相关的内容)的示例消息收发系统的框图。

图2是示出根据示例实施例的关于具有集成的虚拟对象机器学习系统的消息传递系统的更多细节的框图。

图3是示出根据某些示例实施例的可以存储在消息传递服务器系统的数据库中的数据的示意图。

图4是示出根据一些实施例的由消息传递客户端应用生成的用于通信的消息的结构的示意图。

图5是示出了示例访问限制过程的示意图，根据该过程，对内容(例如，短暂消息和相关联的多媒体数据有效载荷)或内容集合(例如，短暂消息故事)的访问可以是时间受限的(例如，制成短暂的)。

图6示出了根据一些示例实施例的基于跟踪的成像系统的示例内部功能组件。

图7示出了根据一些示例实施例的用于实现跟踪补偿图像效果的示例方法的流程图。

图8示出了根据一些示例实施例的用于实现对于图像处理的异步跟踪补偿的示例方法的流程图。

图9示出了根据一些示例实施例的图像和对应的图像掩模的示例。

图10示出了根据一些示例实施例的用于实现基于跟踪的成像系统的示例数据流。

图11示出了根据一些示例实施例的用于使用跟踪方案生成已修改的图像的示例数据流。

图12示出了根据一些示例实施例的用于细化图像掩模的数据流。

图13是示出了可以与本文所述的各种硬件架构结合使用的代表性软件架构的框图。

图14是示出根据一些示例实施例，能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一个或多个的方法的机器的组件的框图。

具体实施方式

下面的描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节，以便提供对本发明主题的各种实施例的理解。然而，对于本领域技术人员来说，显然，本发明主题的实施例可以在没有这些具体细节的情况下实施。通常，众所周知的指令实例、协议、结构和技术不一定被详细示出。