[发明专利]基于视觉嵌入的自主任务性能

说明书

提出了用于控制机器人设备的方法。该方法包括捕获与机器人设备的当前视图对应的图像。该方法还包括识别包含与图像的第二组像素匹配的第一组像素的关键帧图像。该方法还包括由机器人设备执行与关键帧图像对应的任务。

相关申请的交叉引用

本申请要求于2019年9月13日提交的题为“AUTONOMOUS TASK PERFORMANCE BASEDON VISUAL EMBEDDINGS”的美国专利申请第16/570,618号的权益，该申请要求于2019年7月23日提交的题为“KEYFRAME MATCHER”的美国临时专利申请第62/877,792号、于2019年7月23日提交的题为“VISUAL TEACH AND REPEAT FOR MANIPULATION-TEACHING VR”的美国临时专利申请第62/877,791号、以及于2019年7月23日提交的题为“VISUALIZATION”的美国临时专利申请第62/877,793号的权益，其公开内容通过引用整体并入。

技术领域

本公开的特定方面通常涉及机器人设备，并且更具体地，涉及用于使用环境的存储记忆来与环境交互的系统和方法。

背景技术

自主代理(例如，车辆、机器人、无人机等)和半自主代理使用机器视觉来分析周围环境中的感兴趣区域。在操作中，自主代理可以依靠训练的神经网络来识别周围环境图像中的感兴趣区域内的对象。例如，可以训练神经网络识别和跟踪由一个或多个传感器(诸如光检测和测距(LIDAR)传感器、声纳传感器、红-绿-蓝(RGB)相机、RGB-深度(RGB)-D)相机等)捕获的对象。传感器可以耦合到设备(诸如自主代理)或与设备(诸如自主代理)通信。自主代理的对象检测应用可以分析传感器图像数据，用于从自主代理检测周围场景中的对象(例如，行人、骑自行车者、其他汽车等)。

在传统系统中，自主代理被训练以使用基于特征的方法来执行任务。也就是说，基于从机器人设备的当前视图的图像中提取的特征执行任务。图像的特征限于图像中对象的唯一元素。如果图像没有很多特征，传统对象检测系统的准确性可能会受到限制。期望改进视觉系统的准确性。

发明内容

在本公开的一个方面，公开了一种用于控制机器人设备的方法。该方法包括捕获与机器人设备的当前视图对应的图像。该方法还包括识别包含与图像的第二组像素匹配的第一组像素的关键帧图像。该方法还包括由机器人设备执行与关键帧图像对应的任务。

在本公开的另一方面，公开了一种其上记录有非暂时性程序代码的非暂时性计算机可读介质。程序代码用于控制机器人设备。该程序代码由处理器执行并且包括捕获与机器人设备的当前视图对应的图像的程序代码。该程序代码还包括识别包含与图像的第二组像素匹配的第一组像素的关键帧图像的程序代码。该程序代码还包括由机器人设备执行与关键帧图像对应的任务的程序代码。

本公开的另一方面涉及一种机器人设备。该设备具有存储器和耦合到该存储器的一个或多个处理器。该一个或多个处理器被配置为捕获与机器人设备的当前视图对应的图像。该一个或多个处理器还被配置为识别包含与图像的第二组像素匹配的第一组像素的关键帧图像。该一个或多个处理器还被配置为执行与关键帧图像对应的任务。

这已经相当宽泛地概述了本公开的特征和技术优点，以便可以更好地理解下面的具体实施方式。下面将描述本公开的附加特征和优点。本领域技术人员应当理解，本公开可以容易地用作修改或设计用于实现与本公开相同目的的其他结构的基础。本领域技术人员也应该认识到，这样的等效构造未背离所附权利要求中阐述的本公开的教导。当结合附图考虑时，从以下描述中将更好地理解在其组织和操作方法两者方面被认为是本公开的特征的新颖特征以及进一步的目的和优点。然而，应当清楚地理解，提供每一附图仅用于说明和描述的目的，并不旨在作为对本公开的限制的限定。

附图说明

当与附图结合使用时，本公开的特征、性质和优点将从下面阐述的具体实施方式变得更加明显，在附图中相同的附图标记在全文中相应地标识。