[发明专利]通过多个2D相机的3D姿态检测

说明书

一种用于使用来自多个2D相机的2D图像获得对象的3D姿态的系统和方法。该方法包括放置第一2D相机，使得其沿着第一光轴指向对象，通过第一2D相机获得对象的2D图像，以及使用第一特征提取过程从来自第一2D相机的2D图像提取特征点。该方法还包括放置第二2D照相机，使得其沿着第二光轴指向对象，通过第二2D照相机获得对象的2D图像，以及使用第二特征提取过程从来自第二2D照相机的2D图像提取特征点。该方法然后使用来自第一和第二特征提取过程两者的所提取的特征点来估计对象的3D姿态。

技术领域

本公开一般涉及用于使用多个2D相机来估计对象的3D姿态的系统和方法，更具体地，涉及使用多个2D相机和基于学习的神经网络或向量场估计特征提取过程来估计对象的3D姿态的系统和方法，其中该系统和方法具有用于机器人控制的特定应用。

背景技术

机器人执行包括拾取和放置操作的多个任务，其中机器人拾取对象并将对象从一个位置(例如传送带)移动到另一位置(例如收集箱)，其中对象的位置和取向，称为对象的3D姿态，略微不同。因此，为了使机器人有效地拾取对象，机器人通常需要知道对象的3D姿态。为此目的确定对象的3D姿态的各种技术使用实时获得对象的3D图像的3D相机，其中3D图像识别到相机的视场中的许多点的距离测量，其被发送到机器人控制器。这些技术可使用结构化光构建场景的3D地图，然后通过识别对象的3D特征来搜索地图中的对象。使用3D照相机来确定用于机器人应用的对象的3D姿态已经被证明是有效的。然而，3D相机是昂贵的设备，并且通常比预期运行得更慢。

本领域已知的为机器人应用获得对象的3D姿态的一种技术采用2D相机。该技术拍摄场景的单个2D彩色图像，并使用全卷积架构来处理该图像。一种算法将图像划分成包括S×S个单元的2D网格并识别单元中的对象。该算法在图像中的每个对象周围投影边界框，并且预测该框的八个角的2D位置。然而，用于预测边界框的角的这种技术具有准确度的限制和对遮挡的低鲁棒性。

上面提到的用于确定对象的3D姿态的一些过程采用人工智能(AI)，人工智能是计算机科学的一部分，其采用允许软件应用从其环境学习并从其作出决策以实现特定结果的算法。机器学习是AI的一部分，机器学习采用软件应用，该软件应用通过以迭代方式分析大量原始输入数据，以从数据中提取模式并允许软件应用学习执行任务而无需被专门编程来执行该任务，从而获取其自身知识。深度学习是一种特定类型的机器学习，其通过将特定的真实世界环境表示为日益复杂的概念的层次结构来提供更强的学习性能。

深度学习通常采用包括执行非线性处理的若干层神经网络的软件结构，其中每个连续层接收来自前一层的输出。通常，这些层包括接收来自传感器的原始数据的输入层、从数据中提取抽象特征的多个隐藏层、以及基于来自隐藏层的特征提取来识别特定事物的输出层。神经网络包括神经元或节点，每个神经元或节点具有权重，该权重乘以节点的输入以获得某物是否正确的概率。更具体地说，每个节点具有一个权重，该权重是一个浮点数，该浮点数与该节点的输入相乘，以生成该节点的输出，该输出是该输入的某一比例。通过使神经网络在监督处理下分析一组已知数据，并通过最小化成本函数以允许网络获得正确输出的最高概率，来初始训练或设置权重。

深度学习神经网络经常被用来提供图像特征提取和变换，以用于图像中的对象的视觉检测和分类，其中视频或图像流可以由网络分析以识别和分类对象并且通过该过程进行学习以更好地分辨对象。因此，在这些类型的网络中，系统可以使用相同的处理配置来检测某些对象，并且基于算法如何学习识别对象来对这些对象进行不同的分类。

发明内容