[发明专利]一种基于视觉的复合机器人作业方法及系统

权利要求书

1.一种基于视觉的复合机器人作业方法，其特征在于，所述方法包括：

控制复合机器人整体运动至目标位置；

通过相机获取定位标签的图像；

对所述定位标签的图像进行处理得到待作业物品的坐标数据；

根据所述坐标数据控制机械手运转，以使得执行机构对所述待作业物品执行作业；

所述对所述定位标签的图像进行处理得到待作业物品的坐标数据包括：

利用图像处理算法从所述定位标签的图像中提取出四个控制点的坐标；

根据所述机械手与所述相机的位姿关系矩阵，得到四个所述控制点在所述机械手坐标系下的坐标作为所述坐标数据；

所述定位标签具有黑色边框，所述黑色边框自身内部具有四个白色圆点，四个所述白色圆点的中心点构成四个控制点；所述利用图像处理算法从所述定位标签的图像中提取出四个控制点的坐标包括：

对所述定位标签的图像进行自适应阈值分割二值化处理；

获取二值化图像的连通区域，得到若干候选区域；

按照区域特征对获得的候选区域进行筛选，得到对应于所述定位标签的区域图像；

根据所述区域图像中对应于四个所述白色圆点的区域得到四个所述控制点的坐标；

所述按照区域特征对获得的候选区域进行筛选，得到对应于所述定位标签的区域图像包括：

根据各候选区域的面积，去除面积超出第一阈值或小于第二阈值的区域；

去除异形区域，保留形状近似矩形的候选区域；

选出剩余的候选区域中符合设定特征的候选区域作为所述区域图像；其中，所述设定特征为：候选区域中具有四个近似圆形的孔洞和一个近似矩形的孔洞；

被所述黑色边框框定的区域内具有一个黑色圆点，所述黑色圆点离其中一个所述白色圆点的距离较其离其他三个白色圆点的距离小；

所述设定特征还包括：所述近似矩形的孔洞内具备黑色近似圆形的区域；

所述根据所述区域图像中对应于四个所述白色圆点的区域得到四个所述控制点的坐标之后还包括：

计算各所述控制点距所述黑色圆点中心的距离；

以距离所述黑色圆点中心最近的控制点作为起始点，对四个控制点的坐标进行排序。

2.根据权利要求1所述的基于视觉的复合机器人作业方法，其特征在于，所述通过相机获取定位标签的图像包括：

调节所述机械手的位姿；

触发所述相机运作以获得图像。

3.根据权利要求1所述的基于视觉的复合机器人作业方法，其特征在于，所述根据所述机械手与所述相机的位姿关系矩阵，得到四个所述控制点在所述机械手坐标系下的坐标作为所述坐标数据包括：

根据公式计算四个所述控制点在所述机械手坐标系下的坐标；其中，为所述控制点在相机坐标系下的坐标；为所述控制点在机器人坐标系下的坐标，为所述机械手与所述相机的位姿关系矩阵。

4.一种基于视觉的复合机器人作业系统，其包括：

复合机器人，其整体能可控移动；其具备机械手，所述机械手的末端安装有执行机构以及相机；其还具备控制单元，所述机械手、执行机构以及相机均电连接所述控制单元；所述控制单元至少包括存储器与控制器，所述存储器内存储有可执行程序，所述控制器运行所述可执行程序以实现如权利要求1-3任一项所述的基于视觉的复合机器人作业方法；以及

定位标签，其固定在待作业物品上或固定在用于承载所述待作业物品的载体上。