[发明专利]从图像生成对象嵌入

权利要求书

1.一种用于对象嵌入系统的端到端训练的计算机实现的方法，所述方法包括：

在多个图像上迭代地训练所述对象嵌入系统，所述图像中的每一个描绘特定类型的对象，训练的每次迭代包括：

将所选图像作为输入提供给对象嵌入系统并生成相应的嵌入，其中所述对象嵌入系统包括缩略神经网络和嵌入神经网络，其中每个神经网络包括多个连续层，并且其中使用所述对象嵌入系统生成图像中描绘的对象的嵌入包括：

生成图像中描绘的对象的缩略表示作为缩略神经网络的输出，其中所述缩略神经网络根据缩略神经网络参数的集合的值处理输入以：

确定定义缩略表示的像素和图像的像素之间的对应关系的空间变换的参数的值；以及

使用空间变换和图像生成缩略表示作为输出；

通过将缩略表示作为输入提供给嵌入神经网络来生成嵌入，所述嵌入神经网络被配置为根据嵌入神经网络参数的集合的值来处理缩略表示，以生成嵌入作为输出；

基于损失函数确定梯度，以减小相同对象实例的嵌入之间的距离，并增大不同对象实例的嵌入之间的距离；以及

使用梯度调整缩略神经网络参数的集合的值和所述嵌入神经网络参数的集合的值。

2.根据权利要求1所述的计算机实现的方法，其中，所述对象嵌入系统还包括检测神经网络，所述检测神经网络包括多个连续层，以及使用所述对象嵌入系统生成图像中描绘的对象的嵌入还包括：

通过将图像作为输入提供给检测神经网络来生成图像的编码表示，其中所述检测神经网络被配置为根据检测神经网络参数的集合的值来处理图像，以生成图像的编码表示；以及

将图像的编码表示作为输入提供给缩略神经网络。

3.根据权利要求2所述的计算机实现的方法，其中预训练所述检测神经网络以生成图像的编码表示，所述图像的编码表示包括识别图像中特定类型的对象的预测位置的数据。

4.根据权利要求1所述的计算机实现的方法，其中，基于所述特定类型的对象的不是由缩略神经网络生成的缩略表示来预训练嵌入神经网络。

5.根据权利要求1所述的计算机实现的方法，其中，对于每个所选图像，基于损失函数确定梯度还包括：

确定由缩略神经网络生成的缩略表示的关键点的位置；

确定缩略表示的关键点在图像的参考帧中的位置；以及

减小图像中描绘的特定类型的对象的关键点的位置和图像的参考帧中缩略表示的关键点的位置之间的误差度量。

6.根据权利要求5所述的计算机实现的方法，其中所述图像中描绘的特定类型的对象的关键点包括图像中描绘的特定类型的对象周围的边界框的顶点，并且其中所述缩略表示的关键点包括缩略表示的边界顶点。

7.根据权利要求5所述的计算机实现的方法，其中：

所述误差度量是图像中描绘的特定类型的对象的关键点的位置和图像的参考帧中缩略表示的关键点的位置之间的误差的总和；并且

如果图像中描绘的特定类型的对象的关键点的位置和图像的参考帧中缩略表示的关键点的对应位置之间的距离小于容差半径，则它们之间的误差为零。

8.根据权利要求7所述的计算机实现的方法，其中所述容差半径在训练迭代中增加，直到其达到最大阈值。

9.根据权利要求1所述的计算机实现的方法，其中所述缩略神经网络的空间变换包括图像扭曲空间变换，所述图像扭曲空间变换根据所述缩略表示的每个像素处的位移矢量来定义缩略表示的像素和图像的像素之间的对应关系。

10.根据权利要求9所述的计算机实现的方法，其中所述缩略神经网络的空间变换是仿射空间变换和所述图像扭曲空间变换的组合。

11.根据权利要求1所述的计算机实现的方法，其中所述特定类型的对象是脸部。