[发明专利]用于根据对象的摄像机图像定位对象的部位的设备和方法

说明书

按照各种实施方式，描述了一种用于根据对象的摄像机图像来定位这些对象的部位的设备和方法，其中针对被分配给待定位部位的参考描述符，为摄像机图像搜索匹配并且通过如下方式将针对不同参考描述符的匹配编组成组：从分别由一个匹配组成的组开始，通过将这些参考描述符的第一部分的匹配的组与来自具有这些参考描述符的第二部分的匹配的组的集合中的对其来说包含在其中的匹配连同来自参考描述符的第一部分的组中的匹配的相对方位与针对该相对方位的参考最佳匹配的那个组合并来对组进行连续合并。输出组的匹配，作为对于相应的对象来说被定位的部位。

技术领域

本公开涉及用于根据对象的摄像机图像来定位这些对象的部位的设备和方法。

背景技术

为了能够实现机器人对对象的灵活的生产或加工，值得期望的是：机器人能够无视对象被放置到机器人的工作空间中的姿势地对该对象进行操作。因而，机器人旨在能够识别对象的哪些部分位于哪些位置，使得该机器人例如可以在准确的部位抓取该对象，以便例如将该对象固定在其它对象上，或者将该对象焊接在当前位置。这意味着：机器人旨在能够从通过固定在机器人处的摄像机所拍摄的一个或多个图像中识别对象的姿态（位置和方向）或者还有对象的区域、如条形码。实现此目的的方法在于：针对对象的部分（也就是说对象的在摄像机图像平面内表示的像素）确定描述符、也就是说在预先限定的描述符空间中的点（向量），其中机器人被训练来不管对象的当前姿态如何给对象的相同部分分派相同的描述符并且因此识别在图像中的对象的拓扑，使得接着例如知道对象的哪个拐角在图像中处在什么位置。接着，在知道摄像机的姿态的情况下，进而可以反推出对象的姿态或者对象的区域在三维空间中的位置。对该拓扑的识别可以使用机器学习模型来被实现，该机器学习模型相对应地被训练。这些描述符具有理论特性，即这些描述符视图不变地总是被分配给相同的部位。但是，这种唯一性仅在一个方向上适用，原因在于特定描述符可以在针对摄像机图像所生成的描述符图像中多次出现，例如当同一对象类型的多个对象在该摄像机图像中多次显示时。在这种情况下，需要将描述符分配给对象（或者也分配给对象的在摄像机图像中多次出现的区域）。与此相对应地，如下方法是值得期望的，这些方法能够将在针对摄像机图像的描述符图像中出现的描述符分配给正确的对象或者在一个或多个对象上的正确的区域，以便借助于摄像机图像来定位在对象上的部位，例如用于机器人控制。

发明内容

按照各种实施方式，提供了一种用于根据对象的摄像机图像来定位这些对象的部位的方法，该方法具有：为对象的对象类型规定待定位部位；确定所要找到的部位的相对方位的参考；针对该对象类型，训练机器学习模型来将摄像机图像映射到描述符图像上，其中每个摄像机图像都显示该对象类型的对象，其中摄像机图像应被映射到的描述符图像针对该摄像机图像在图像位置处所显示出的该对象的部位在该图像位置处具有该对象的该部位的描述符；为每个待定位部位，规定在该对象的待定位部位处的描述符作为该待定位部位的参考描述符；接收该对象类型的一个或多个对象的摄像机图像；借助于经训练的机器学习模型来将该摄像机图像映射到描述符图像上；为每个参考描述符，确定该描述符图像的描述符与参考描述符之间的匹配；通过如下方式将针对不同参考描述符的匹配编组成组：从分别由一个匹配组成的组开始，通过

将这些参考描述符的第一部分的匹配的组与来自具有这些参考描述符的第二部分的匹配的组的集合中的对其来说包含在其中的匹配连同来自参考描述符的第一部分的组中的匹配的相对方位与针对该相对方位的参考最佳匹配的那个组合并来对组进行连续合并；而且

输出组的匹配，作为对于相应的对象来说被定位的部位。

上述方法能够正确地分配在针对摄像机图像所生成的描述符中多次出现的描述符，例如将这些描述符正确地分配给相应的对象（或目标实例，该目标实例也可以是对象的区域或部分）。这允许：为同一目标的多个实例、例如多个对象或者也包括在对象上的多个相同的区域，定位属于这些实例的部位，例如确定在摄像机图像中的多个相同的对象的姿态或者确定在摄像机图像中可见的一个或多个对象上的多个条形码在三维空间中的位置。

在下文说明了各种实施例。

实施例1是上述用于根据对象的摄像机图像来定位这些对象的部位的方法。