[发明专利]动态对象实例检测、分割和结构映射的优化

说明书

在一个实施例中，系统可以访问图像并使用神经网络为图像生成特征图。该系统可以识别特征图中的感兴趣区域。可以分别为感兴趣区域生成区域特征图。每个区域特征图都有第一维度、第二维度和第三维度。该系统可以通过组合区域特征图来生成第一组合区域特征图。组合区域特征图具有第一维度、第二维度和第三维度。该系统可以通过使用一个或更多个卷积层处理第一组合区域特征图来生成第二组合区域特征图。该系统可以针对每个感兴趣区域，基于第二组合区域特征图的与该感兴趣区域相关联的一部分，生成与对象实例相关联的信息。

技术领域

本公开通常涉及计算机视觉。

背景

机器学习可以用来使机器自动检测和处理图像中出现的对象。一般而言，机器学习通常包括根据机器学习模型处理训练数据集，并基于训练算法更新模型，使得它逐渐“学习”数据集中可预测期望输出的特征。机器学习模型的一个例子是神经网络，它是由相互连接的节点组成的网络。节点组可以分层排列。接收输入数据的网络的第一层可以称为输入层，从网络输出数据的最后一层可以称为输出层。可以有任意数量的内部隐藏层将输入层中的节点映射到输出层中的节点。在前馈神经网络中，除了输出层之外，每一层中节点的输出都被配置为前馈到下一层中的节点。

机器学习模型可以被训练来识别在图像中捕获的对象特征。然而，这种模型通常很大，需要许多操作。虽然大型和复杂模型可以在具有快速处理器(例如，多个中央处理单元(“CPU”)和/或图形处理单元(“GPU”)以及大型存储器(例如，随机存取存储器(“RAM”)和/或高速缓存)的高端计算机上充分执行，但是这样的模型可能不能在具有更少能力的硬件资源的计算设备上操作。需要来自模型的接近实时的结果(例如，每秒10、20或30帧)的应用，例如基于在实况视频中检测到的特征动态调整计算机生成的组件的增强现实应用，进一步加剧了该问题。

特定实施例概述

本文描述的实施例涉及机器学习模型和各种优化技术，其使得具有有限系统资源的计算设备(例如，诸如智能手机、平板电脑和膝上型电脑之类的移动设备)能够识别在图像或视频中捕获的对象和对象的特征。为了使具有有限硬件资源(例如，在处理能力和存储器大小方面)的计算设备能够执行这样的任务并且在可接受的时间限制内这样做，这里描述的实施例提供了一种紧凑的机器学习模型，该模型具有针对执行各种图像特征识别任务的效率而优化的体系结构。例如，特定实施例针对在图像或视频中捕获的人的实时或接近实时的检测、分割和结构映射(例如，满足视频的帧速率要求)。这些实时计算机视觉技术可用于实现各种移动应用，例如用化身动态地替换人的视频捕捉、检测手势以及执行与场景中出现的特定对象(例如，人)相关的其他动态图像处理。

这里公开的实施例仅仅是示例，并且本公开的范围不限于它们。特定实施例可以包括以上公开的实施例的组件、元件、特征、功能、操作或步骤中的全部、一些，或不包括这些组件、元件、特征、功能、操作或步骤。根据本发明的实施例在所附权利要求中具体公开，涉及方法、存储介质、系统和计算机程序产品，其中在一个权利要求类别(例如方法)中提到的任何特征，也可以在另一个权利要求类别(例如系统)中要求保护。所附权利要求中的从属关系或往回引用仅出于形式原因而选择。然而，也可以要求保护由对任何先前权利要求的有意往回引用(特别是多个从属关系)而产生的任何主题，从而权利要求及其特征的任何组合被公开了并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中特征的任何其他组合，其中权利要求中提到的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或在与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。

在根据本发明的实施例中，一种方法可以包括，由计算系统：

访问图像；

使用神经网络生成图像的特征图；

识别所述特征图中的多个感兴趣区域；