[发明专利]一种人机协作机器人系统

说明书

本发明提供了一种人机协作机器人系统，包括凝视跟踪组件、目标识别定位组件、意图预测组件、预期运动规划组件。凝视跟踪组件通过眼动仪跟踪捕获机器人使用者的凝视焦点；目标识别定位组件分析凝视数据确定机器人使用者所注视的区域，并对区域内的目标进行检测和识别；意图预测组件对机器人使用者关注的目标和使用者的真实意图之间的相关性进行建模，判断出机器人使用者的意图；预期运动规划组件利用意图预测组件提供的预测值对机器人进行运动规划。所述人机协作机器人系统，在人机协作场景中，使机器人系统能够监测操作者的注视模式并预测任务意图，并基于这些预测执行相应的预期运动，实现机器人与机器人使用者之间的流畅、高效的协作。

技术领域

本发明属于计算机视觉与工业机器人的交叉领域，具体地，本发明涉及一种人机协作机器人系统。

背景技术

机器人工业自动化在大规模制造中取得了显着的成功，因为它在诸如焊接，切割，冲压，喷漆，重材料处理，精密材料加工等任务中具有显着的优势。机器人自动化在大规模制造中的成功已导致将机器人自动化的使用扩展到中小型制造企业(“中小型企业”)的长期愿望。然而，与大规模制造相比，中小型企业的生产方法通常特征在于小批量、定制化、短周期，没有太多的资金对生产线进行大规模改造，并且对产品的投资回报率更为敏感。这要求机器人具有较低的综合成本、快速部署、简单上手的使用方法，而这些，传统机器人很难满足。

此外，在某些机器人应用的新兴行业中，即使是大企业也面临与中小企业同样的问题，3C产业是这个方面的典型代表。3C市场中如手机、平板、可穿戴设备等主流产品的更新换代速度非常快，基本上生命周期只有1～2年，短的甚至只有几个月。如果采用传统机器人方案，建设相应的生产线需要投入大量资源、大量时间，并且有可能连成本都没收回来，所生产的产品就该从市场退出了。而如果对生产线再进行改造，又要投入巨大的资源，这是企业不能接受的。除了资金投入，3C行业很多时候更关心时间，常见机器人自动化改造方案耗时1个月到数个月不等，但3C产品无法在每一次换代都等待这么久。

这些新兴行业中的特点是产品种类很多、体积普遍不大、对操作人员的灵活度/柔性要求高。现有的机器人很难在成本可控的情况下给出性能满意的解决方案，因此需要提供灵活、有效的人机交互协作系统。由人类负责对柔性，触觉，灵活性要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。

发明内容

为了解决以上现有技术中存在的问题，本发明提供了一种人机协作机器人系统，涉及监视机器人操作者注视模式，预测操作者任务意图，并根据预测的操作者意图主动控制机器人执行任务，作为使用直接、明确的操作者输入的反应控制方法的替代。对于机器人，这个方法使他们主动推断操作者的需求以及在正确的时间自动采取相应的动作，以实现更无缝协作。

一种人机协作机器人系统，包括：通过通信链路连接的凝视跟踪组件、目标识别定位组件、意图预测组件和预期运动规划组件，其中：

所述凝视跟踪组件捕获跟踪眼睛的凝视数据；

所述目标识别定位组件分析凝视数据，确定机器人操作者所注视的区域，并对所述机器人操作者所关注区域内的目标进行检测和识别；

所述意图预测组件推断机器人操作者意图并且提供置信度；

所述预期运动规划组件基于所述意图预测组件提供的置信度对机器人进行运动规划，完成协作任务。

进一步的，所述凝视跟踪组件包括眼动仪，用于执行双目瞳孔跟踪、三维重建环境和与其它组件进行交互通信，机器人操作者的凝视位置以红点体现在所述三维重建环境和中，通过雅可比矩阵方法和预定义的Aruco标记实现三维重建环境和物理任务空间中的位置与环境项目之间的映射关联。

进一步的，所述目标识别定位组件包括视觉行为分类器、注意力提取部分和目标识别部分。

进一步的，所述视觉行为分类器区分意图注视行为和无意识注视行为。