[发明专利]机器人和用于机器人定位的方法

说明书

提供了用于使用机器人的相机捕获机器人的环境的图像的方法、装置、系统和计算机可读介质，检测图像中的边缘以及基于将所检测的图像中的边缘与从环境中的机器人的估计姿态的视角的，根据机器人的环境的三维(“3D”)模型取得的边缘比较来定位机器人。在一些实施方式中，基于根据环境的3D模型渲染从估计姿态的视角的环境的模型图像以及将边缘检测器应用于渲染的模型图像以从模型图像检测检测模型图像中的边缘来取得边缘。

背景技术

可以编程机器人来执行各种任务，诸如自主或半自主导航、操纵物体(例如，重新定位物体、变动物体，和/或拾取物体并且将其移动到不同的位置)、运输物体(不必操纵那些物体)、监视环境条件、充当“轮子上的视频会议”等。

如果机器人不知道它在何处，则机器人难以准确地执行各种任务。机器人定位旨在解析环境中的机器人的姿态(位置和取向)，从而使机器人能够知道它在何处。已经提出了各种机器人定位技术。例如，航位推算法使用来自机器人的一个或多个里程计的传感器读数，连同三角法和运动学方程来确定机器人如何移动并且基于该确定，更新机器人的姿态。此外，例如，一些机器人定位技术利用具有整个环境中的已知位置的主动信标(例如红外线、声音)和/或被动信标(例如反射器)，以使得机器人的传感器能够感测这些信标并且三角测量或以其他方式确定机器人相对于所感测的信标的姿态，因此，确定其在环境中的姿态。这些和/或其他机器人定位技术具有一个或多个缺陷，诸如定位精度、计算成本、与在环境中放置信标或其他地标相关联的成本，和/或与执行定位技术所必需的传感器相关联的成本。会存在上述技术和/或其他技术的附加和/或替选的缺陷。

发明内容

本公开涉及使用机器人的相机来捕获机器人环境的图像，检测图像中的边缘，并且基于所检测的图像中的边缘与从机器人的环境的三维(“3D”)模型取得的边缘的比较，定位机器人。如本文所使用的，在环境中“定位机器人”是指相对于一些参考坐标系，诸如所谓的“世界坐标系”，确定环境中的机器人的姿态。如本文所使用的，“姿态”既指位置又指取向。例如，机器人的所确定的姿态可以定义机器人的六个自由度的值。

作为根据本文所述的技术的机器人定位的一个示例，由环境中的机器人的相机捕获相机图像。将边缘检测器应用于相机图像以检测相机图像中的相机图像边缘。边缘检测器可以采用一个或多个边缘检测技术，例如Canny边缘检测算法。

进一步识别环境中的机器人的相机的估计姿态。在一些实施方式中，估计的姿态可以是使用其他机器人定位技术(例如，在本文所述的机器人定位技术的第一迭代中)确定的姿态和/或可以基于在本文所述的机器人定位技术的在前迭代期间确定的机器人相机的姿态。

所估计的姿态被用来根据环境的三维模型来渲染从估计的姿态的视点的环境的模型图像。换言之，渲染的模型图像是具有与估计姿态同一位置和取向的渲染图像的视点的模型的渲染图像。在一些实施方式中(例如，当相机图像为二维图像时)，“根据3D模型渲染模型图像”是指将3D模型的一部分转换成该部分的二维图像(例如，具有一个或多个颜色和/或灰度通道的图像)。在一些实施方式中(例如，当相机图像包括深度通道和一个或多个颜色和/或灰度通道时)，“由3D模型渲染模型图像”是指将3D模型的一部分转换为包括深度通道和一个或多个颜色和/或灰度通道的“2.5D”图像。可以使用各种渲染技术，诸如光栅化、光线投射、辐射度和/或光线追踪。

边缘检测器还被应用于渲染的模型图像以检测模型图像的模型图像边缘。然后，基于相机图像边缘与模型图像边缘的比较来确定机器人的相机的当前姿态(即，当捕获相机图像时的相机的姿态)。例如，可以确定一个或多个相机图像边缘与一个或多个对应的模型图像边缘之间的欧几里德距离，并且利用这些距离来确定姿态。例如，距离的方向和/或量值可以被用来根据被用来生成模型图像的估计姿态取得机器人的相机的姿态。换言之，可以通过鉴于(由相机在其实际姿态下拍摄的)相机图像中的边缘与(从估计姿态的视点渲染的)模型图像之间的差异来修改估计姿态，确定相机的当前姿态。