[发明专利]基于图形图像来预测多个姿势

说明书

本申请的各实施例涉及基于图形图像来预测多个姿势。预测神经网络接收数据并从数据提取特征。被包括在预测神经网络中的递归神经网络基于提取的特征来提供预测的特征。在一个实施例中，预测神经网络接收图像，并且该图像的特征被提取。递归神经网络基于提取的特征来预测特征，并且姿势基于预测的特征被预测。附加地或者备选地，附加姿势基于附加预测的特征被预测。

技术领域

本公开内容总地上涉及人工智能领域。更具体地但非限制性地，本公开内容涉及模拟决策做出过程以及以其他方式基于图形图像来预测动作。

背景技术

实现计算机视觉和人工智能的系统被用来预测人类动作。例如，机器人或计算机实现的程序部分地基于视觉输入(诸如从相机接收的图像)来与人类交互。包括相机的计算机系统使用图像来提示与人类用户的交互，诸如握手或在用户界面上提供菜单选项。某些系统使用一个或多个输入图像(例如，视频的帧)作为视觉输入以预测单个后续帧。然而，这些技术限于预测关于对象(例如，实现计算机视觉系统的系统的用户)的单个下一帧。单个“预测的”帧不足以准确地确定对象的意图。不准确地预测其用户的意图的计算机系统将会引起挫败。在能够进行物理交互的系统(诸如机器人)的情况中，不准确的预测可能危及用户。因此，开发技术以预测对象在未来某一时刻的姿势(例如，位置和地点)是有益的。

发明内容

本文描述了用于基于描绘对象的输入图像来预测对象的顺序姿势的实施例。在一个实施例中，预测神经网络包括沙漏神经网络的组件，其包括编码器神经网络(“编码器”)和解码器神经网络(“解码器”)，以及递归神经网络(“RNN”)。编码器能够从接收的数据提取特征。解码器能够基于特征来确定输出。RNN能够基于记忆信息(诸如描述神经网络的先前状态的记忆信息)来修改接收的数据。在一个实施例中，预测神经网络利用在编码器和解码器之间的RNN被布置。编码器从数据提取特征。RNN接收提取的特征，并且基于描述预测神经网络的记忆来提供修改的特征。解码器基于修改的特征来产生输出。在一些情况中，预测神经网络重复与修改特征和产生输出有关的步骤，从而使得基于修改的特征的序列来产生输出的序列。

例如，预测神经网络接收描绘执行动作的人的图像。编码器从该图像提取所描绘的人的姿势的特征。提取的特征被提供给RNN。基于提取的特征，RNN产生一组预测的特征。预测的特征被提供给解码器网络。基于预测的特征，解码器网络产生表示在图像中被描绘的人的身体关节的预测的关键点。在一些情况中，RNN产生附加的一组预测的特征(例如，后续的一组特征)。附加预测的特征被提供给解码器神经网络，并且解码器神经网络产生另一组预测的关键点。在一些实施例中，与预测特征和预测关键点有关的技术被重复，从而生成一系列预测。在一些情况中，一系列预测的姿势基于各组预测的关键点被生成。

提到这些说明性实施例不是为了限制或限定本公开内容，而是提供用于辅助对其的理解的示例。在具体实施方式中讨论附加实施例，并且在那里提供进一步的描述。

附图说明

当参照附图阅读以下具体实施方式时，可以更好地理解本公开内容的特征、实施例和优点，在附图中：

图1是描绘根据某些实施例的包括预测神经网络的系统的示例的框图；

图2是描绘根据某些实施例的包括预测神经网络和一个或多个部分预测神经网络的系统的示例的框图；

图3是描绘根据某些实施例的包括具有层的预测神经网络的系统的示例的框图；

图4是描绘根据某些实施例的包括具有跳跃连接的预测神经网络的系统的示例的框图；

图5是描绘根据某些实施例的由解码器确定的关键点的表示的示例的示图；

图6是描绘根据某些实施例的包括具有层和跳跃连接的预测神经网络和一个或多个部分预测神经网络的系统的示例的框图；

图7是描绘根据某些实施例的具有卷积长短期记忆架构的RNN的示例的框图；