[发明专利]一种基于双目视觉的双臂移动机器人系统

摘要

本发明提供一种基于双目视觉的双臂移动机器人系统，所述机器人具有一定自主性和智能性。所述系统包括：双目摄像头，用于实时采集目标物体的图像；工控机，用于依据双目摄像头采集的图像，得到目标物体的位置信息，并依据目标物体的位置信息生成电机控制指令及机械臂控制指令；串口协议转换器，用于对生成的电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂；移动底盘，用于依据接收到的电机控制指令进行移动，使得机器人移动至目标物体所在的位置；机械臂，用于依据接收到的机械臂控制指令操作目标物体。本发明适用于机器人自主作业技术领域。

主权项

1.一种基于双目视觉的双臂移动机器人系统，其特征在于，包括：双目摄像头、工控机、串口协议转换器、机械臂及移动底盘；其中，所述双目摄像头，用于实时采集目标物体的图像，并将采集到的所述图像上传至所述工控机；所述工控机，用于对接收到的所述图像进行处理，得到所述目标物体的位置信息，并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令，并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；所述串口协议转换器，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂；所述移动底盘，用于依据接收到的所述电机控制指令进行移动，使得所述机器人移动至所述目标物体所在的位置；所述机械臂，用于依据接收到的所述机械臂控制指令操作所述目标物体；其中，所述双目摄像头包括：第一摄像头及第二摄像头；所述第一摄像头及第二摄像头位于所述机器人的头部，呈左右对称分布；其中，所述工控机包括：协同控制中心模块；所述协同控制中心模块，具体用于对所述双目摄像头采集到的图像进行目标检测，识别所述图像中的目标物体并得到所述目标物体在第一摄像头及第二摄像头下的图像坐标，将所述目标物体在第一摄像头及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；其中，所述工控机还包括：显示器；所述协同控制中心模块，具体用于根据接收到的所述图像，通过Hough圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像头及第二摄像头下的图像坐标，根据所述目标物体在第一摄像头及第二摄像头下的图像坐标，通过最小二乘法得到所述目标物体的空间三维坐标，并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令，并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器；还用于将识别出的所述目标物体、得到的所述目标物体在第一摄像头及第二摄像头下的图像坐标显示在所述显示器上；其中，所述协同控制中心模块，还用于在所述双目摄像头采集所述目标物体的图像之前，对所述双目摄像头进行标定、校正、匹配；其中，所述协同控制中心模块，具体用于在所述双目摄像头采集所述目标物体的图像之前，利用张正友标定方法对所述双目摄像头进行标定，利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头进行校正，利用BM匹配方法或SGBM匹配方法对所述双目摄像头进行匹配；其中，所述串口协议转换器包括：串口协议转换模块；所述串口协议转换模块，用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换，并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发送至所述移动底盘及机械臂；其中，所述移动底盘包括：电机驱动模块及移动装置；所述移动装置包括：伺服电机、全向轮、码盘；所述电机驱动模块，用于根据所述串口协议转换模块发送的所述电机控制指令，驱动所述伺服电机控制所述全向轮进行运动，并依据所述码盘产生的码盘信号得到所述机器人的当前位置信息，并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述协同控制中心模块；其中，所述串口协议转换模块通过第一R232通信串口与所述工控机相连；所述串口协议转换模块通过第一RS485通信串口与所述机械臂相连；所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。