[发明专利]一种基于深度图的平面零件三维位置和法向量计算方法

说明书

技术领域

本发明涉及视觉工业机器人零件三维定位领域，特别涉及一种基于深度图的平面零件三维位置和法向量计算方法。

背景技术

视觉工业机器人常用于焊接、码垛、装配、加工、检测、物流搬运和喷涂等领域，应用过程中都需要对零件进行识别和三维定位。零件三维定位是视觉工业机器人准确进行抓取和装配等作业的一个重要前提，三维定位精度直接影响到生产制造质量。在工业非结构化环境中，零件位姿各不相同，并且零件常受到非线性光照变化、杂乱背景和遮挡等因素干扰，使传统的基于稀疏特征点的三维定位方法不能得到稳定、精确的定位结果。另外，国内外在相关方面进行了大量的研究，现有视觉三维定位系统主要是根据具体零件的形状和大小进行针对性开发，通用性和鲁棒性不强，使得视觉三维定位软件的推广受到限制。基于此，在不提高硬件成本的前提下，使用鲁棒和精确的零件三维定位方法非常重要。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种通用性强、定位精度高、稳定性好、适用于平面类零件的基于深度图的平面零件三维位置和法向量计算方法。

双目立体视觉系统是通过对左右图像进行立体匹配以获得稠密深度图，并根据三角测量原理将深度图转换为三维数据，因此，利用稠密深度图可以精确计算零件的三维位置和法向量。因为许多零件具有平面特征，其三维位姿可以用三维位置和法向量表示，所以本发明针对平面类零件，使用双目立体视觉系统获得零件稠密深度图，并提出一种鲁棒的零件三维位置和法向量计算方法。

本发明的目的通过下述技术方案实现：

一种基于深度图的平面零件三维位置和法向量计算方法，包括下述步骤：

(1)识别和获得深度图：使用双目立体视觉系统获取工业场景中的图像，包括左图像和右图像，然后使用形状匹配算法来识别左图像中的零件；再使用双目立体视觉系统计算零件所在感兴趣区域的稠密深度图；

(2)移除离群点：将稠密深度图转换为三维点云，对点云进行非均匀采样以移除杂乱背景，再进行鲁棒的统计分析以移除点云中的反光离群点；

(3)平面拟合：利用移除离群点后的点云，使用随机样本一致性算法拟合平面，得到平面方程；

(4)计算三维位置和法向量：利用上述平面方程，计算零件的三维位置和法向量；再采用坐标转换方法，将三维位置和法向量从摄像机坐标系转换到世界坐标系上，完成零件的三维定位。

步骤(1)中，所述使用形状匹配算法来识别左图像中的零件，其识别步骤是：首先，创建零件的模板图像，同时假定左图像中存在位姿各异的零件；其次，在左图像中移动模板，计算模板图像与左图像的匹配区域的相似度，如果零件的方向与模板不同，还需要创建多个角度的模板；第三，如果相似度大于给定阈值，则意味着找到该模板的一个实例；最后，使用双目视觉系统来计算该实例的稠密深度图。

所述相似度是指模板图像与左图像的匹配区域的方向向量的夹角的余弦值的和的平均值，具体表示为：假定模板图像表示为T，其中任意点(x,y)灰度值表示为T(x,y)，使用有限差分算子求模板图像的偏导数(T_x(x,y),T_y(x,y))，它构成了模板图像的方向向量，方向向量的角度θ_T(x,y)＝tan^-1(T_y(x,y),T_x(x,y))；同样地，将左图像表示为I，其中任意点(x,y)灰度值表示为I(x,y)，求左图像的偏导数(I_x(x,y),I_y(x,y))，它构成了左图像的方向向量，方向向量的角度θ_I(x,y)＝tan^-1(I_y(x,y),I_x(x,y))；形状匹配的相似度表示为：

式(1)中：n是模板图像像素点的数量，s(r,c)是左图像I上任一点(r,c)的得分。

步骤(2)中，因金属零件表面反光、杂乱背景、遮挡和立体视觉系统算法误差等因素影响，稠密深度图中存在大量离群点，为抑制这些离群点，采用以下方法依次移除：