[发明专利]一种基于几何形状特征的工件识别方法及装置

摘要

本发明涉及一种基于几何形状特征的工件识别方法及装置，其包括以下步骤1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像与传送带图像二者做差分运算，得到包含工件及其阴影在内的前景区域；2)采用阴影检测方法将包含工件及其阴影在内的前景区域中的阴影去除，以获得工件的准确区域轮廓；3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量，该特征向量包括Hu矩和Fourier算子；4)采用支持向量机SVM对工件区域轮廓的特征向量进行训练和分类。采用上述步骤本发明可以广泛应用于工厂流水生产线上工件抓取与搬运、环缝焊接机械手、工业喷漆以及设备组装等领域。

主权项

一种基于几何形状特征的工件识别方法，其包括以下步骤：1)摄取传送带上的工件的二维图像，设传送带上的工件的二维图像为包含工件的当前帧图像，传送带图像为不包含工件的背景帧图像，并将二者做差分运算，再通过设定阈值将差分得到的图像二值化，得到包含工件及其阴影在内的前景区域，其步骤包括：①通过常规的工业摄像头采集传送带上的工件的二维图像Im，并将处于RGB颜色空间内工件的二维图像Im转换到灰度空间，得到灰度图像Im_gray，具体转换过程如下：g＝0.299×R+0.587×G+0.114×B其中，R表示工件的二维图像Im中每个像素的红颜色分量，G表示工件的二维图像Im中每个像素的绿颜色分量，B表示工件的二维图像Im中每个像素的蓝颜色分量，g表示经过转换后的该像素灰度值；②在工件识别应用场景中，将不包含工件在内的传送带图像设为背景图像，采用中值建模得到不包含工件的背景帧图像Im_back，其过程如下：将N张不同时刻的RGB颜色空间内中背景图像对应转换成为灰度空间内各自对应的灰度图像，再根据各背景图像的灰度图像进行中值建模，以得到不包含工件的背景帧图像Im_back，其过程如下：p_mean(x,y)=1NΣi=1Np_orgi(x,y)]]>其中，p_orgi(x,y)是第i张背景图像中任意一点坐标(x,y)处像素的灰度值，且i＝1,2,...,N，p_mean(x,y)是中值建模得到的不包含工件的背景帧图像Im_back在对应的坐标(x,y)处像素的灰度值；针对每一坐标(x,y)处像素进行处理得到不包含工件的背景帧图像Im_back；③将当前含有工件的图像帧Im_fore与不包含工件的背景帧图像Im_back做差分运算，以得到差分灰度图像Im_sub：Im_sub(x,y)＝|Im_fore(x,y)‑Im_back(x,y)|针对差分灰度图像Im_sub每一点(x,y)进行二值化处理，并设定图像二值化阈值T1，根据应用场景二值化过程所需的范围来设定，一般在15‑60之间，将二者进行比较得到二值图像Im_sub1(x,y)，该二值图像Im_sub1(x,y)中，值为1的区域是工件及其阴影区域，值为0的区域是背景区域；在二值图像Im_sub1(x,y)中，值为1的区域即为包含工件及其阴影在内的前景区域fore_region：fore_region＝{(x,y)|Im_sub1(x,y)＝1}；2)采用阴影检测方法将包含工件及其阴影在内的前景区域中的阴影去除，以获得工件的准确区域轮廓，其步骤包括：①采用阴影检测方法将包含工件及其阴影在内的前景区域fore_region内的所有像素，由RGB颜色空间转换到归一化RGB颜色空间中，其过程如下：r_norm=R1R1+G1+B1g_norm=G1R1+G1+B1b_norm=B1R1+G1+B1]]>其中，r_norm、g_norm和b_norm对应为包含工件及其阴影在内的前景区域fore_region的每一个像素在归一化RGB颜色空间的红色分量、绿色分量和蓝色分量；R1、G1、B1是包含工件及其阴影在内的前景区域fore_region内每个像素对应的红颜色分量、绿颜色分量、蓝颜色分量；在归一化RGB颜色空间内，将归一化颜色空间内每一颜色空间分量的当前帧像素和背景帧中对应当前帧的位置处的像素进行差分运算：Δr_norm=|r_norm_fore-r_norm_back|Δg_norm=|g_norm_fore-g_norm_back|Δb_norm=|b_norm_fore-b_norm_back|]]>其中，Δr_norm、Δg_norm和Δb_norm对应表示归一化RGB颜色空间下差分图像的r值、g值和b值；r_norm_fore、g_norm_fore和b_norm_fore对应表示归一化RGB颜色空间下前景图像的r值、g值和b值；r_norm_back、g_norm_back和b_norm_back对应表示归一化RGB颜色空间下背景图像的r值、g值和b值；②将归一化RGB颜色空间下差分图像的r值、g值和b值与阈值T2进行比较，以便得到粗判阴影区shadow_candidate，其过程如下：根据Δr_norm、Δg_norm和Δb_norm与阴影粗判决阈值T2的大小关系进行阴影粗判决阈值判定，其过程如下：若Δr_norm，Δg_norm，Δb_norm三者中任意一个都比阴影粗判决阈值T2小，则将比阴影粗判决阈值T2小的像素判定为阴影像素shadow，阴影像素shadow的集合为粗判阴影区shadow_candidate；否则，将比阴影粗判决阈值T2大的像素判定为非阴影像素nonshadow，采用下式进行阴影属性判断其过程如下：其中，T2是阴影粗判决阴影粗判决阈值，通常为实验得到的经验值，一般选取0.12～0.18之间；③对粗判阴影区shadow_candidate内的像素进行纹理信息提取并分析，以判断区别阴影区和非阴影区；采用梯度信息表征纹理信息，且采用Prewitt算子描述粗判阴影区shadow_candidate内的像素的梯度信息；将梯度算子模板中心对应于粗判阴影区shadow_candidate内每个像素上，分别计算每个像素所对应的水平方向梯度和竖直方向梯度，即：▿x=(p(m-1,n+1)-p(m-1,n-1))+(p(m,n+1)-p(m,n-1))+(p(m+1,n+1)-p(m+1,n-1))]]>▿y=(p(m-1,n-1)-p(m+1,n-1))+(p(m-1,n)-p(m+1,n))+(p(m-1,n+1)-p(m+1,n+1))]]>|▿p|=▿x2+▿y2]]>θp=arctan▿y▿x]]>其中，表示粗判阴影区shadow_candidate内的每一个像素在水平方向上的梯度，表示粗判阴影区shadow_candidate内的每一个像素竖直方向上的梯度，表示粗判阴影区shadow_candidate内的每一个像素处的梯度幅值，θp表示粗判阴影区shadow_candidate内的每一个像素的梯度方向角；计算前景帧和背景帧对应位置像素的帧间梯度方向差Δθp，以便做梯度方向判别纹理相似性的基础，即Δθp=arccos[▿xF·▿xB+▿yF·▿yB{((▿xF)2+(▿yF)2).((▿xB)2+(▿yB)2)}12]]]>④根据前景帧和背景帧对应位置像素的帧间梯度方向差Δθp与帧间梯度方向差的阈值Ta进行比较，以便进行帧间梯度阈值分割；为了排除背景差分过程中引入的噪声干扰，采用3×3像素块的梯度方向相关性的均值g进行阴影判决，以便将阴影部分像素干扰去除，得到工件的准确轮廓；梯度方向相关性的均值g的公式如下：g=1NΣp=1NH(Tg-Δθp)]]>其中，N＝9，H(·)的定义类似于阶跃函数，其表达式为其中，Ta为帧间梯度方向差的阈值，设定为π/10；如果对应位置像素的帧间梯度方向差Δθp小于该阈值，说明3×3像素块属于背景，H(·)为1并累加；当梯度方向相关性的均值g大于设定块判定阈值Tg，设定为0.56时，说明该像素块与背景帧中对应位置像素块纹理信息相近，因此将该像素块判定为阴影区像素，否则判定为工件区域像素；3)针对工件的准确区域轮廓提取其几何特征，以得到工件区域轮廓的特征向量，该特征向量包括Hu矩和Fourier算子；4)采用支持向量机SVM对工件区域轮廓的特征向量进行训练和分类。