[发明专利]一种高精度二维摄像头与机器人手眼标定的方法及系统有效
| 申请号： | 201911272726.X | 申请日： | 2019-12-12 |
| 公开（公告）号： | CN111062989B | 公开（公告）日： | 2023-06-06 |
| 发明（设计）人： | 张云飞;王衍军;丁泉;吴双;吕忠源 | 申请（专利权）人： | 深圳慧智星晨科技有限公司 |
| 主分类号： | G06T7/73 | 分类号： | G06T7/73;G06T7/66;G06T7/80;B25J9/16 |
| 代理公司： | 深圳市鼎泰正和知识产权代理事务所(普通合伙) 44555 | 代理人： | 缪太清 |
| 地址： | 518000 广东省深圳市宝安区福海*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 高精度 二维 摄像头 机器人 手眼 标定 方法 系统 | ||
1.一种高精度二维摄像头与机器人手眼标定的方法，其特征在于，所述方法包括：
获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；
当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置；
识别待抓取物体相对于相机坐标系的中心和法向量；
以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；
以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量；
根据所述待抓取物体基于所述第二基向量的中心点和法向量对所述待抓取物体进行抓取；
所述获取对角点在机器基座坐标系中的位置之前，所述方法还包括：
根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行；
其中，所述根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正具体包括：
根据棋盘格的对角点位置，计算棋盘格左右两边在图像中的长度lly及lry，和上下两边在图像中的长度lux及llx；
计算x轴边长差Δlx＝lux-llx和y轴边长差Δly＝lly-lry，所述x轴边长差与所述y轴边长差用于控制图像补偿旋转的角度θx和θy；
旋转图像时先将图像映射至3维平面，然后再进行3维旋转，最后再投影到2维平面，当待旋转的图像为一个点[uold，vold]时，旋转过程为：
其中uc和vc分别为2D图像中心像素点的行数和列数；
旋转图像直到Δlx和Δly收敛到低于阈值时，保存此时的旋转角θx和θy；
所述方法还包括：再次识别棋盘格角的对角点在RGB图像中的位置；
所述再次识别棋盘格角的对角点在RGB图像中的位置具体包括：
利用保存的旋转角θx和θy矫正平面后，再次识别棋盘格角的对角点在RGB图像中的位置[u1，v1]T，[u2，v2]T，[u3，v3]T，和[u4，v4]T；
所述获取所述对角点在机器基座坐标系中的位置具体包括：
利用机器探针触碰棋盘格角点，获取对应角点在机器基座坐标系中的位置[x1，y1，z1]T，[x2，y2，z2]T，[x3，y3，z3]T，和[x4，y4，z4]T；
所述识别待抓取物体相对于相机坐标系的中心和法向量具体包括：
移除标定板，将待抓取物体放置在之前标定板范围内，上表面与标定板的上表面共面，识别待抓取物体的相对于相机坐标系的中心[uo，vo]T和法向量[un，vn]T；
所述以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例具体包括：
以标定的对角点在RGB图像中的位置为基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例:
拟合法向量所需的各基向量比例为：
所述以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量具体包括：
以标定的对角点在基座坐标系的位置为基向量，用各基向量的比例乘以各基向量，计算出待抓取物在机器基座坐标系的中心点[xo yo zo]T和法向量[xn yn zn]T,并发送给机械臂进行抓取；
2.一种高精度二维标定的系统，其特征在于，所述系统包括：(1)可解耦机械臂，(2)RGB摄像头，(3)上位机控制系统，所述可解耦机械臂(1)用于与所述RGB摄像头(2)相连，当所述RGB摄像头(2)采集到RGB图像时，所述RGB摄像头(2)用于将所述RGB图像传出至所述上位机控制系统(3)，
所述RGB摄像头(2)，用于获取棋盘格标定板的RGB图像，并获取棋盘格的对角点在所述RGB图像中的位置；
所述上位机控制系统(3)，用于当所述RGB图像中的棋盘格平面与相机平面平行时，获取所述对角点在机器基座坐标系中的位置并识别待抓取物体相对于相机坐标系的中心和法向量；
所述上位机控制系统(3)，还用于以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例；
所述上位机控制系统(3)，还用于以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量。
所述可解耦机械臂(1)，用于根据所述待抓取物体基于所述第二基向量的中心点和法向量对待抓取物体进行抓取；
所述RGB摄像头(2)，还用于根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正，使得所述棋盘格平面与相机平面平行；
其中，所述根据所述棋盘格对角点和所述棋盘格平面对所述相机平面进行矫正具体包括：
根据棋盘格的对角点位置，计算棋盘格左右两边在图像中的长度llv及lry，和上下两边在图像中的长度lux及llx；
计算x轴边长差Δlx＝lux-llx和y轴边长差Δly＝lly-lry，所述x轴边长差与所述y轴边长差用于控制图像补偿旋转的角度θx和θy；
旋转图像时先将图像映射至3维平面，然后再进行3维旋转，最后再投影到2维平面，当待旋转的图像为一个点[uold，vold]时，旋转过程为：
其中uc和vc分别为2D图像中心像素点的行数和列数；
旋转图像直到Δlx和Δly收敛到低于阈值时，保存此时的旋转角θx和θy；
所述RGB摄像头(2)还用于：再次识别棋盘格角的对角点在RGB图像中的位置；
所述再次识别棋盘格角的对角点在RGB图像中的位置具体包括：
利用保存的旋转角θx和θy矫正平面后，再次识别棋盘格角的对角点在RGB图像中的位置[u1，v1]T，[u2，v2]T，[u3，v3]T，和[u4，v4]T；
所述获取所述对角点在机器基座坐标系中的位置具体包括：
利用机器探针触碰棋盘格角点，获取对应角点在机器基座坐标系中的位置[x1，y1，z1]T，[x2，y2，z2]T，[x3，y3，z3]T，和[x4，y4，z4]T；
所述识别待抓取物体相对于相机坐标系的中心和法向量具体包括：
移除标定板，将待抓取物体放置在之前标定板范围内，上表面与标定板的上表面共面，识别待抓取物体的相对于相机坐标系的中心[uo，vo]T和法向量[un，vn]T；
所述以所述对角点在RGB图像中的位置为第一基向量，并基于所述第一基向量获取待抓取物体坐标中心点和法向量的比例具体包括：
以标定的对角点在RGB图像中的位置为基向量，计算拟合待抓取物体坐标中心点所需的各基向量的比例:
拟合法向量所需的各基向量比例为：
所述以所述对角点在基座坐标系的位置为第二基向量，并根据所述第二基向量、所述基于所述第一基向量的所述待抓取物体坐标中心点和法向量的比例，确定所述待抓取物体基于所述第二基向量的中心点和法向量具体包括：
以标定的对角点在基座坐标系的位置为基向量，用各基向量的比例乘以各基向量，计算出待抓取物在机器基座坐标系的中心点[xo yo zo]T和法向量[xn yn zn]T,并发送给机械臂进行抓取；
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳慧智星晨科技有限公司，未经深圳慧智星晨科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201911272726.X/1.html，转载请声明来源钻瓜专利网。
