[发明专利]学习模板表示库

说明书

用于学习模板表示库的方法，系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括获得描述物理环境的图像，其中环境包括给定的物理对象。当可能时，基于模板表示库使用模板匹配技术来推测给定的对象在环境中的位置。响应于确定不可以基于模板表示库使用模板匹配技术来预测给定的对象在环境中的位置，模板表示库被自动扩充有新的模板表示。

背景技术

本说明书涉及使用数字图像处理方法来处理数据。

计算机可以通过使用数字图像处理方法处理表征环境的数据来对环境进行建模。表征环境的数据可以是例如描述环境的图像数据。计算机可以使用环境模型作为与环境交互的基础。例如，计算机可以使用机器人致动器与环境交互。

发明内容

本说明书描述了在一个或多个位置中的一个或多个计算机上实施为计算机程序的学习模板表示库的系统。

根据第一方面，提供了一种用于学习模板表示库的方法。该方法包括获得描述物理环境的第一图像，其中该环境包括给定的物理对象。该方法包括确定是否可以基于模板表示库使用模板匹配技术来推测给定的对象在环境中的位置，其中模板表示库包括多个模板表示。响应于确定不可以基于模板表示库使用模板匹配技术来推测给定的对象在环境中的位置，从环境的多个图像生成环境的重建。环境的重建表征了环境的几何形状。使用环境的重建来确定给定的对象的估计位置。使用给定的对象的估计位置来生成给定的对象的新模板表示。模板表示库用新的模板表示来扩充。

在一些实施方式中，确定是否可以基于模板表示库使用模板匹配技术来推测给定的对象在环境中的位置包括，对于来自模板表示库的多个模板表示中的每一个模板表示，确定模板表示与第一图像的区域之间的相似性度量是否超过阈值。

在一些实施方式中，从环境的多个图像生成环境的重建包括将立体重建技术应用到环境的图像。

在一些实施方式中，环境的重建包括定义环境的三维重建的多个坐标。

在一些实施方式中，使用环境的重建来确定给定的对象的估计位置包括基于环境的重建，确定将环境分割成多个分割区域的分割。将分割区域识别为给定的对象。基于被识别为给定的对象的分割区域来确定给定的对象的估计位置。

在一些实施方式中，基于环境的重建来确定将环境分割成多个区域包括确定表示环境的重建的图像的分水岭变换。

在一些实施方式中，使用给定的对象的估计位置生成给定的对象的新模板表示包括裁剪由给定的对象的估计位置定义的环境图像的区域。

在一些实施方式中，该方法包括基于使用环境的重建确定的给定的对象的估计位置与环境进行物理交互。确定交互成功条件。如果交互不满足交互成功条件，则禁止使用给定的对象的估计位置来生成给定的对象的新模板表示。

在一些实施方式中，基于使用环境重建确定的给定的对象的估计位置与环境进行物理交互包括尝试使用机器人致动器基于使用环境重建确定的给定的对象的估计位置来操纵给定的对象。

根据第二方面，提供了一种系统，其包括存储可执行指令的存储器，以及执行所述指令以执行先前描述的方法的操作的一个或多个计算机。

根据第三方面，提供了一种或多种存储指令的非暂时性计算机存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行前述方法的操作。

可以实施本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。