[发明专利]机器人系统

说明书

本发明提供一种机器人系统，具备：机器人；机器人控制装置，其控制机器人；影像获取装置，其获取包括机器人以及机器人控制装置的作业空间的现实的影像；以及头部佩戴型的影像显示装置，其具备获取视线信息的视线追踪部。机器人控制装置具备：信息存储部，其将用于机器人的控制的信息与物体的种类相关联地存储；注视对象确定部，其基于视线信息在影像中确定出佩戴者在作业空间中注视的注视对象；以及显示处理部，其使与确定出的注视对象所对应的物体相关联的信息以佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式与注视对象并排显示在影像显示装置上。

技术领域

本发明涉及机器人系统。

背景技术

近年来，期待增强现实(Augmented Reality：AR)技术应用到工业用机器人。例如，日本特开2016-107379号公报记载了在显示于具备拍摄装置的头戴式显示器的实际环境的机器人的图像上重叠显示表示工具前端点处的点动操作的方向的操作引导的机器人系统。日本特表2017-538218号公报记载了通过利用头戴式显示器所具备的视线追踪装置识别用户的注视对象，从而用户如鼠标光标那样使用视线来操作重叠显示于实际环境的影像上的应用启动器。

一般来说，在机器人系统中，为了使用户经由显示于示教操作面板的显示部等的用户界面来访问目标信息，需要进行依次选择分级提示的选择菜单找到目标信息的操作。希望具有用户能够更高效地访问所希望的信息的构成的机器人系统。

发明内容

本公开的一方式是一种机器人系统，具备：机器人；机器人控制装置，其控制上述机器人；影像获取装置，其获取包括上述机器人以及上述机器人控制装置的作业空间的现实的影像；以及头部佩戴型的影像显示装置，其具备获取佩戴者的视线信息的视线追踪部，上述机器人控制装置具备：信息存储部，其将用于上述机器人的控制的信息与存在于上述作业空间的物体的种类相关联地存储；注视对象确定部，其基于上述视线信息在上述影像中确定出上述影像显示装置的佩戴者在上述作业空间中注视的注视对象；以及显示处理部，其使与确定出的上述注视对象所对应的上述物体相关联的上述信息以上述佩戴者能够通过视觉执行内容的掌握、选择或者设定的一个图像的形式与上述注视对象并排显示在上述影像显示装置上。

附图说明

本发明的目的、特征以及优点通过与附图相关的以下的实施方式的说明更加清楚。该附图中，

图1是表示本公开的一实施方式的机器人系统的结构的图，

图2是机器人系统的功能框图，

图3是表示信息显示处理的流程图，

图4是选择是否新设定工具坐标系的选择菜单重叠于影像的显示画面例，

图5是表示通过视线对选择菜单进行选择操作的状态的图，

图6是与负荷信息有关的内容重叠于显示画面的显示画面例，

图7是与工具坐标有关的信息重叠于显示画面的显示画面例，

图8是与机器人的速度、轨迹有关的信息重叠于影像的显示画面例，

图9是与点动操作相关的信息重叠显示于影像的显示画面例，

图10是与关节的当前位置以及活动区域有关的信息重叠显示于影像的显示画面例，

图11是与禁止进入区域有关的信息重叠显示于影像的显示画面例，

图12是用于重新接通电源的选择菜单重叠显示于影像的显示画面例，

图13是与运转模式切换有关的选择菜单重叠于影像的显示画面例，

图14是与动作程序的动作状态有关的信息重叠于影像的显示画面例，

图15是用于对工具坐标系设定处理进行说明的图，