[发明专利]一种基于三维骨架检测的人机安全协作方法

说明书

一种基于三维骨架检测的人机安全协作方法，包括步骤：获取操作者与机器协作的左图像和右图像，进行立体匹配，得到场景重构后的三维几何信息，然后进行人体骨架检测，对左图像和右图像进行一致性检验，将检验后的左图像和右图像与三维几何信息进行坐标映射，得到人体骨架三维坐标，通过世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算得到人机碰撞检测的安全阈值，再计算人体三维骨架包围盒模型与机器末端之间的欧式距离，通过欧式距离与安全阈值的大小关系判断人机协作的安全性。本发明实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全。

技术领域

本发明涉及图像处理和计算机视觉领域，特别涉及一种基于三维骨架检测的人机安全协作方法。

背景技术

近年来，人工智能等技术取得了飞速的进展，并对人类的生产活动和社会活动产生了极其重要的影响。这些技术被广泛应用于军事、工业、教育等众多领域，可以代替人们从事复杂的科学计算、大量的存储和仿真实验等工作，并且可以比人更出色地完成任务。然而，人们也意识到，用机器完全替代人去完成所有任务是无法实现的，或者说可以实现但是却在非常遥远的未来。因此，在完成复杂任务时，可采用人机协作的方式。协作指的是两个或两个以上的人（或机器）为了共同的目标在一起工作。人机协作可以发挥人和机器各自的特长，并结合人和机器的智能。

目前，人机协作得到越来越广泛的应用。随着机器人应用领域的扩展，人机协作机器人也将在高危作业、紧急救援、医疗服务等领域成为人类的得力助手。当然，人机协作发展水平当前仍处于初期阶段，安全和稳定性能尚需经历更多测试。譬如企业出于安全性考虑，一般需要用围栏把机器人和工作人员进行隔离，人机协作水平仍有进步空间。人擅长形象思维与灵感思维，能从环境中识别对象，具有创造性并能对不良结构问题进行处理。而计算机则是基于规则与逻辑推理，擅长记忆大量的数据，进行复杂科学计算等。人机协作得到广泛应用的原因在于一些复杂问题并不能只靠计算机或者只靠人来解决，而需要依靠人机协作的方式一起完美地解决这类问题，但人机共融中的安全问题一直是个令人头疼的存在。

发明内容

本发明要解决的技术问题是提供一种基于三维骨架检测的人机安全协作方法，实现操作者与机器协作下的实时碰撞安全检测，提高生产效率及操作者的人身安全。

为了解决上述技术问题，本发明采取以下技术方案：

一种基于三维骨架检测的人机安全协作方法，包括以下步骤：

通过双目摄像头实时采集左右不同视角下操作者与机器协作的左图像和右图像，并进行图像预处理；

对左图像和右图像进行立体匹配，得到场景重构后的三维几何信息；

对左图像和右图像进行人体骨架检测，得到左图像和右图像中的人体骨架特征，并对左图像和右图像目标进行一致性检验；

将检验后的人体骨架特征的图像与立体匹配后的场景的三维几何信息进行坐标映射，形成人体三维骨架，得到人体骨架三维坐标；

对人体三维骨架进行OBB包围盒处理，形成三维骨架包围盒模型；

建立机器与人体三维骨架包围盒模型在世界坐标系下的坐标系转换关系，获取世界坐标系下机器末端与三维骨架包围盒模型的相对位姿关系，计算人机碰撞检测的安全阈值；

实时计算人体三维骨架包围盒模型与机器末端之间的欧式距离，判断该欧式距离与安全阈值之间的大小关系，若该欧式距离大于等于安全阈值，则人机协作行为处于安全状态，若该欧式距离小于安全阈值，则人机协作行为处于危险状态。

所述立体匹配具体为：

对左图像和右图像利用Quick Shift算法进行预处理，然后结合SGM算法进行立体匹配，得到场景重构后的三维几何信息。