[发明专利]基于Kinect摄像头的工业机械臂人机安全距离检测方法

摘要

基于Kinect摄像头的工业机械臂人机安全距离检测方法，首先对Kinect摄像头和机械臂底座进行基于最小二乘法的标定，并根据机械臂的D‑H参数，构建机械臂的3D模型。接着使用Kinect摄像头获取机械臂工作空间内的环境信息，当环境中有操作员进入时，使用背景差分法对操作员进行识别并构建操作员的轮廓模型。最后，当操作员进入机械臂工作空间时，机械臂进行状态切换进入预警模式，并使用最小包围盒法对人机最小距离进行计算，判断人机安全性。

主权项

1.一种基于Kinect摄像头的工业机械臂人机安全距离检测方法，具体步骤如下：步骤1：对Kinect摄像头和机械臂底座进行标定；首先对Kinect摄像头进行内参标定，获取相机的投影矩阵和畸变参数；在机械臂的末端贴上标定板，通过Kinect摄像头获取其在相机坐标系下的位姿；然后手动调整机械臂的位姿，记录下不同位姿下，机械臂参数与通过Kinect摄像头所识别的标定板的位姿；最后通过迭代最小二乘法计算得到机械臂基座相对于相机坐标系的位置，即完成对机械臂的定位；定义如下方程描述相机空间下，相机、机械臂基座、机械臂末端与机械臂末端标定板的相对位置关系：其中，P_cam表示相机坐标系下，相机与机械臂末端标定板的位姿关系，表示待求解的相机与机械臂基座的位姿关系；表示机械臂基座与机械臂末端的位姿关系；P_off表示机械臂末端与其末端标定板之间的相对位姿关系；由于测量过程中难免会产生误差，因此，采用迭代最小二乘算法，来获得带求解的通过测量N次机械臂在不同位姿下，其末端标定板在相机坐标系下的位姿，通过不断迭代，便可得到待求解矩阵即相机与机械臂基座的位姿关系；步骤2：使用Kinect摄像头获取障碍物信息；机械臂定位完成后，使用Kinect深度摄像头对机械臂周围的静态场景进行扫描，得到初始背景参考帧；接着将摄像头下一时刻获取到的帧序列与参考帧一起，进行背景差处理，并使用二值化获得运动部分图像信息；背景差分法计算公式如下：δ(i，j)＝|a(i，j)‑r(i，j)|          (2)其中，a(i，j)表示当前帧的像素点，r(i，j)表示背景参考帧的像素点，δ(i，j)表示像素值的绝对差值，d(i，j)表示经过二值化的像素点，T表示设定的阈值；当背景差大于阈值时，则表示有运动物体出现；为了能确定运动物体的尺寸和位置，采用Canny边缘检测算子对得到的差分图像进行轮廓检测；然后，对得到的轮廓像素点，通过深度摄像头获取对应的深度值；最后，恢复轮廓像素点所在世界坐标系中的3D轮廓模型；步骤3：机械臂工作模式和预警模式的切换；一般情况下，机械臂执行自身任务，处于正常工作模式；利用步骤1和步骤2获取的机械臂底座位置和操作员位置，计算操作员和机械臂底座的水平距离x_rh；如果x_rh小于机械臂工作半径R，表示操作员进入机械臂工作空间，则机械臂从正常工作模式转换为预警模式；机械臂的状态函数表示为：P(x)＝a_r(t)P_r(Δx_d)+a_h(t)[P_h(Δx_h)‑C]            (4)其中，P(x)是机械臂状态函数，a_r(t)和a_h(t)是在机械臂的工作任务和预警任务之间分配的变量，C是常数值；当操作员在机械臂工作空间之外时，预警任务P_h功能被禁用，即a_h(t)＝0，机械臂执行自身任务；当操作员进入工作空间时，P_h被激活，即a_h(t)＝1；假设t_ei为操作员进入机械臂的工作空间的时间，a_h(t)定义为：其中，x_rh表示人与机器人基座之间的水平距离，R表示机械臂的工作半径，T表示a_h(t)从0到1变化过渡时间，f_in(t，t_ei)是从0到1的递增函数；步骤4：计算磁撞距离；机械臂进入预警模式后，首先将步骤1、2分别获得的机械臂3D模型和操作员3D轮廓模型放到同一坐标系下进行组合；然后，对操作员3D轮廓模型使用最小包围盒法，分割成i个子包围盒，计算每个包围盒的中心坐标(x_i，y_i，z_i)和对应包围球的半径r_i；对机械臂的3D模型进行同样操作，分割成j个子包围盒，其中每个包围盒的中心坐标记为(X_j，Y_j，Z_j)对应包围球的半径记为R_j，开始对操作员和机械臂进行磁撞检测，距离判断公式如下：根据公式(6)，若其计算值小于0，则表示操作员和机器人发生了碰撞；若其计算值大于0，则表示两者相互分离；最后在上述数据中进行最小值搜索，得到最短距离Q，即可确定机械臂离操作员最近的距离，即当计算得到多个距离时，按照最小距离进行人机距离判断。Q＝D_min         (7)。