[发明专利]使用神经网络和几何感知对象表示的机器人抓取预测

说明书

一种深度机器学习方法和装置，其中一些涉及确定机器人的末端效应器的候选抓取姿态的抓取结果预测。一些实施方式针对几何网络和抓取结果预测网络的训练和利用。训练后的几何网络可用于基于二维或二维半图像生成(多个)几何输出，(多个)几何输出是几何感知的并且表示由(多个)图像捕获的(例如，高维)三维特征。在一些实施方式中，(多个)几何输出至少包括基于训练后的编码神经网络生成的编码，其中，该训练后的编码神经网络被训练为生成表示三维特征(例如，形状)的编码。训练后的抓取结果预测网络可以用于基于将(多个)几何输出和附加数据作为(多个)输入应用于网络来生成候选抓取姿态的抓取结果预测。

技术领域

本说明书中的实施方式涉及使用神经网络和几何感知对象表示的机器人抓取预测。

背景技术

许多机器人利用一个或多个末端效应器来抓取各种对象。例如，机器人可以利用诸如“冲击式”夹取器或者“侵入式”夹取器(例如，使用销、针等物理地穿透对象)的抓取末端效应器从第一位置拾取对象，将对象移动到第二位置，并在第二位置处放下对象。可以抓取对象的机器人末端效应器的一些附加示例包括“限制式”末端效应器(例如，使用吸力或真空来拾取对象)和一个或多个“接触式”末端效应器(例如，使用表面张力、冻结或粘合剂来拾取对象)，仅举几例。

发明内容

本说明书的各种实施方式通常针对与确定机器人的末端效应器的候选抓取姿态的抓取结果预测有关的深度机器学习方法和装置。抓取结果预测可以是一种度量，该度量指示当末端效应器处于候选抓取姿态时，如果末端效应器尝试抓取对象，成功抓取对象的可能性。在一些实施方式中，如果确定抓取结果预测满足一个或多个标准(例如，概率阈值)，则可以向机器人的一个或多个致动器提供控制命令，以使末端效应器以末端效应器的候选抓取姿态尝试抓取对象。

一些实施方式针对几何网络和抓取结果预测网络的训练和利用。几何网络和抓取结果预测网络可以各自包括至少一个训练后的神经网络模型。训练后的几何网络可以用于基于(多个)二维(two-dimensional，2D)或二维半(two-and-a-half-dimensional，2.5D)图像(具有深度的2D)，生成(多个)几何输出，其中，(多个)几何输出是几何感知的并且表示由(多个)图像捕获的(多个)对象的三维(three-dimensional，3D)几何特征(例如，形状、位置、方向)。(多个)图像可以由机器人的视觉传感器(例如，捕获2D或2.5D视觉传感器数据的视觉传感器)捕获。例如，由(多个)几何输出表示的对象的几何特征可以至少包括对象的3D形状。

(多个)几何输出可以包括全局几何表示，诸如高维几何表示的编码。该编码可以基于将图像应用(或提供)于神经网络编码器(例如，卷积神经网络(convolutional neuralnetwork，CNN)编码器)来生成。如本文所述，可以训练神经网络编码器，使得利用神经网络编码器生成的编码表示由图像捕获的(多个)对象的3D特征。此外，(多个)几何输出可以附加地或可选地包括局部几何表示，其中，局部几何表示是几何感知的并且局部聚焦于对象的靠近候选抓取姿态的区域。例如，可以基于对是编码的全局几何表示的密集采样来生成局部几何表示，其中，密集采样是来自末端效应器的候选抓取姿态的角度(例如，密集采样来自候选抓取姿态的参考系)。以这些和其他方式，局部几何表示可以从候选抓取姿态的角度来表示对象的3D特征。

训练后的抓取结果预测网络可以用于基于将(多个)几何输出和附加数据作为(多个)输入应用于网络来生成候选抓取姿态的抓取结果预测。例如，应用于抓取结果预测网络的附加数据可以包括候选抓取姿态、预抓取图像和/或预抓取视觉传感器姿态。