[发明专利]基于视觉嵌入的自主任务性能

权利要求书

1.一种用于控制机器人设备的方法，包括：

捕获与机器人设备的当前视图对应的图像；

识别包含与图像的第二组像素匹配的第一组像素的关键帧图像；以及

由机器人设备执行与关键帧图像对应的任务。

2.如权利要求1所述的方法，还包括在训练机器人设备以执行任务的同时捕获关键帧图像。

3.如权利要求1所述的方法，还包括将像素描述符指派给第一组像素和第二组像素中的每个像素。

4.如权利要求3所述的方法，其中，像素描述符包括与像素级信息和深度信息对应的一组值。

5.如权利要求1所述的方法，还包括：

确定关键帧图像和图像之间的距离、姿态或组合之一的差异；以及

基于确定的差异调整任务。

6.如权利要求1所述的方法，其中，任务包括与对象交互、在环境中导航、或其组合中的至少一种。

7.如权利要求1所述的方法，其中，由用户选择对应于第一组像素的区域。

8.一种机器人设备，包括：

存储器；以及

至少一个处理器，所述至少一个处理器被配置为：

捕获与机器人设备的当前视图对应的图像；

识别包含与图像的第二组像素匹配的第一组像素的关键帧图像；以及

执行与关键帧图像对应的任务。

9.如权利要求8所述的机器人设备，其中，所述至少一个处理器还被配置为在训练机器人设备以执行任务的同时捕获关键帧图像。

10.如权利要求8所述的机器人设备，其中，所述至少一个处理器还被配置为将像素描述符指派给第一组像素和第二组像素中的每个像素。

11.如权利要求10所述的机器人设备，其中，像素描述符包括与像素级信息和深度信息对应的一组值。

12.如权利要求8所述的机器人设备，其中，所述至少一个处理器还被配置为：

确定关键帧图像和图像之间的距离、姿态或组合之一的差异；以及

基于确定的差异调整任务。

13.如权利要求8所述的机器人设备，其中，任务包括与对象交互、在环境中导航、或其组合中的至少一种。

14.如权利要求8所述的机器人设备，其中，由用户选择对应于第一组像素的区域。

15.一种其上记录有用于控制机器人设备的程序代码的非暂时性计算机可读介质，所述程序代码包括：

捕获与机器人设备的当前视图对应的图像的程序代码；

识别包含与图像的第二组像素匹配的第一组像素的关键帧图像的程序代码；以及

由机器人设备执行与关键帧图像对应的任务的程序代码。

16.如权利要求15所述的非暂时性计算机可读介质，其中，所述程序代码还包括在训练机器人设备以执行任务的同时捕获关键帧图像的程序代码。

17.如权利要求15所述的非暂时性计算机可读介质，其中，所述程序代码还包括将像素描述符指派给第一组像素和第二组像素中的每个像素的程序代码。

18.如权利要求17所述的非暂时性计算机可读介质，其中，像素描述符包括与像素级信息和深度信息对应的一组值。