[发明专利]一种基于视觉定位的双臂协同智能装配系统

权利要求书

1.一种基于视觉定位的双臂协同智能装配系统，其特征在于，包括两台机械臂和两台相机，其中，第一相机固定在第一机械臂的末端执行器上，用来拍摄模组底座；第二相机固定在第一机械臂外部，用来拍摄LED光源；第二机械臂的末端执行器为自动打螺丝机，

在系统正式开始工作之前，进行前期标定，进行第一相机和第一机械臂基坐标系的标定，第二相机和第一机械臂基坐标系的标定，以及第一机械臂和第二机械臂之间位置转换的标定工作，获得对应的转换矩阵，以便将相机拍摄的图片中点的位置转换到机械臂的基坐标系下，引导机械臂到达指定位置；

系统装配，分别进行如下动作：

当待安装的模组底座运行到安装工位时，第一机械臂运动至模组上方由标定关系确定的拍摄基准，触发第一相机拍照，并对待安装的模组的照片进行图像处理之后，获取模组上两个螺纹孔的位置；

第一机械臂吸取LED光源并将其准确的移动到第二相机下方由标定关系确定的拍摄基准；

第二相机拍摄LED光源照片，获取LED光源上两个螺纹孔的位置；

将LED光源放置在模组底座上，使LED光源与模组底座上两组对应的螺纹孔重合并压紧；

第二机械臂运动到指定位置将LED光源和模组底座采用螺钉锁死；

对待安装的模组的照片进行图像处理之后，获取模组上两个螺纹孔的位置如下：

对拍摄的图片进行预处理，先根据相机每次拍摄的图片效果截取照片中靠近模组中央位置的包含需要定位的两个螺纹孔一个方形区域，对图形进行去噪处理；

对去噪后的图像进行初步二值化处理，算法步骤如下：首先采集一组不同光照情况下的模组图片估算出每张图片中螺纹孔区域灰度值的变化范围(i₀～i_n)；取变化阈值t₀≥i_n-i₀；每次拍摄好图片之后，首先对图片进行遍历，记录每一个像素点的灰度值，并进行比较，获取图像中的最小灰度值i_m；取图像分割阈值t＝i_m+t₀；利用阈值t对图像进行初步二值化分割；

进行边缘检测；

进行螺纹孔位置检测，用霍夫圆检测算法来确定模组上螺纹孔位置；

进行螺纹孔位置检测，用霍夫圆检测算法来确定模组上螺纹孔位置具体如下：初始化圆心空间N(a,b)，令所有的N(a,b)＝0；遍历二值图中的所有非0像素点，沿梯度方向和其反方向画线，线段的起点和长度由设置的半径区间决定，将线段经过的所有累加器中的点(a,b)的N(a,b)+＝1，统计排序N(a,b)，得到可能的圆心；对于可能的圆心，按照累加器点数从高到低进行排序，依次计算边缘图中所有的非0像素点距此圆心的距离，并对距离从小到大排序，对于距离相差小于某个阈值的点视为在同一个圆中，统计属于该半径的非0点数；重复以上步骤计算多个圆心点，选择非0点数最多的半径画圆，在此情况下，会检测到许多的圆存在，根据对不同图片多次检测的结果可知，模组中央两个螺纹孔的间距范围为900个像素点，据此设置圆心最小间距，圆心之间距离小于此间距的只取累加器点数最多的为圆心，螺纹孔半径范围为25-30个像素，据此设置霍夫圆检测的半径阈值；

LED光源图片处理的计算过程如下：

首先需对图片进行滤波处理，排除噪声干扰；

进行二值化处理，此时根据图像特征可以发现，图片中光源区域的灰度值相较于其他区域比较大，因此仍需通过事先采集的图像样本集，确定不同光照条件下，光源图像的灰度值变化范围(i0’～in’)，取变化阈值t0’≥in’-i0’；每次拍摄好图片之后，首先对图片进行遍历，记录每一个像素点的灰度值，并进行比较，获取图像中的最大灰度值im’；取图像分割阈值t’＝im’-t0’；利用阈值t’对图像进行初步二值化分割；对二值化之后的图像再进行边缘检测，获得轮廓图；为了便于更好的提取螺纹孔特征，排除其他元素干扰，利用检测螺纹孔两侧的线段的交点来对螺纹孔进行定位；根据霍夫直线检测的算法，先后对LED光源螺纹孔对应的线段进行提取，根据对不同图片多次检测的结果可知，两侧线段的长度范围为100-150个像素点，两幅图中两个圆圈的位置已知，其连线中点的位置可求，其连线的直线斜率也可求，即光源螺纹孔连线中点的和斜率可求；此时光源螺纹孔连线的位置和斜率已知，模组底座的螺纹孔位置和斜率也已知，即可求解两对螺纹孔在空间中的位置关系，从而引导第一机械臂将光源准确的放置在模组底座上，使两对螺纹孔重合，完成装配。

2.如权利要求1所述的基于视觉定位的双臂协同智能装配系统，其特征在于，第二相机拍摄LED光源照片具体如下，获取LED光源上两个螺纹孔的位置：对LED光源的图片进行图像处理，获取图片中LED光源两个螺纹孔的位置，并计算出两个螺纹孔圆心连线与模组上两个螺纹孔圆心连线的夹角。