[发明专利]机械学习装置及方法、机器人控制装置、机器人系统

说明书

本发明提供一种机械学习装置及方法、机器人控制装置、机器人系统。人与机器人(1)协作地进行作业的机器人的机械学习装置(5)，具备：状态观测部(51)，其在上述人与上述机器人(1)协作地进行作业的期间，观测表示上述机器人(1)的状态的状态变量；判定数据取得部(52)，其取得与上述人的负担度以及作业效率中的至少一方相关的判定数据；以及学习部(54)，其根据上述状态变量以及上述判定数据，学习用于设定上述机器人(1)的行为的训练数据集。

技术领域

本发明涉及一种学习人的行为模式的机械学习装置、机器人控制装置、机器人系统及机械学习方法。

背景技术

在现有技术中，为了确保人的安全，采用了如下的安全对策：在机器人驱动的期间，人不进入机器人的作业区域。例如，在机器人的周边设置安全栅，在机器人的驱动期间，禁止人进入到安全栅的内部。近年来，已知人与机器人协作来进行作业的机器人系统。在该机器人系统中，在机器人的周边不设置安全栅的状态下，机器人和人可以同时进行一个作业。

在日本特开2015-123505号公报中公开了与人进行协作作业的工业机器人。该机器人具备被底部支持的可动部、由刚性比可动部低的材质形成且覆盖可动部的周围的保护部件、设于可动部且检测经由保护部件输入的外力的检测器。

按照预先生成的动作程序驱动一般的工业机器人。或者，以通过由示教编程器等预先示教的示教点的方式驱动机器人。即，沿着预先决定的轨道驱动机器人。

在人与机器人协作来进行作业的机器人系统中，也可以预先设定机器人的轨道，沿着所生成的轨道驱动机器人。然而，在人与机器人协作来进行作业的情况下，有时作业方法并不一般。例如，在制造产品的工厂等，有时将工件从初始位置搬运至目标位置。为了搬运工件，有时人与机器人协作来抬起工件，搬运至目标位置。机器人可以抬起搬运物并进行搬运。在该情况下，抬起工件的方向和速度等，存在多个选项。

依存于针对工件的机器人的控制方法，人的负担度变化。例如，即使在进行同一作业的情况下，人的疲惫程度也变化，负担度还根据离人的距离或速度而变化。因此，优选适当地设定机器人的控制方法。然而，存在多个机器人的控制方法。此外，有时人的行为模式因作业内容而不同。因此，存在难以根据作业内容设定最佳的机器人的控制方法的问题。

发明内容

根据本发明的第1实施方式，提供一种在人与机器人协作来进行作业的机器人的机械学习装置，其中，具备：状态观测部，其在上述人与上述机器人协作地进行作业的期间，观测表示上述机器人的状态的状态变量；判定数据取得部，其取得与上述人的负担度以及作业效率中的至少一方相关的判定数据；以及学习部，其根据上述状态变量以及上述判定数据，学习用于设定上述机器人的行为的训练数据集。

优选地，上述状态变量包括上述机器人的位置、姿势、速度以及加速度中的至少一个。优选地，上述判定数据包括上述机器人感知的负荷的大小或方向、上述机器人的周围感知的负荷的大小或方向、上述机器人的周围的负担度以及上述机器人的移动时间中的至少一个。

上述训练数据集包括对上述机器人的每个状态以及上述机器人的每个行为设定的表示上述机器人的行为的价值的行为价值变量，上述学习部包括：回报计算部，其根据上述判定数据以及上述状态变量设定回报；以及函数更新部，其根据上述回报以及上述状态变量，更新上述行为价值变量。优选地，上述机器人的加速度的绝对值越小，上述回报计算部设定越大的回报，上述机器人的移动时间越短，上述回报计算部设定越大的回报。