[发明专利]基于多视觉信息融合的多层多道焊接轨迹检测装置及方法

摘要

本发明提出的一种基于多视觉信息融合的多层多道焊接轨迹检测装置及方法，属于焊接自动化领域。本发明使用定向光源阵列在待检测焊道两侧构建定向光照条件，使用结构光光源获取待检测焊道截面的三维信息，利用控制处理单元使多个光源以一定频率依次循环点亮，并使成像元件同步采集每个光源单独点亮时的图像，经图像处理融合定向光照和结构光光照时的多种视觉信息后，准确计算出多层多道焊接轨迹的三维信息。本发明可近同步获得待检测焊道多种视觉特征信息，适用于焊道凸起量较低的多层多道焊接轨迹自动识别场合，识别准确度高，实时性好，系统结构简单，成本低，可应用于多层多道焊接过程智能排道和自动跟踪等场合。

主权项

1.一种基于多视觉信息融合的多层多道焊接轨迹检测方法，该方法采用如下焊接轨迹检测装置完成，该装置包括成像元件(1)，定向光源阵列(2)，结构光光源(3)和控制处理单元(4)；所述定向光源阵列(2)包括第一定向光源组(21)和第二定向光源组(22)；所述第一定向光源组(21)和第二定向光源组(22)对称放置于待检测焊道(51)两侧；所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)发出的光线均投射在待检测焊道(51)表面；所述成像元件(1)、定向光源阵列(2)、结构光光源(3)与焊枪(6)的位置相对固定；所述成像元件(1)采集所述第一定向光源组(21)、第二定向光源组(22)和结构光光源(3)单独点亮时的工件(5)表面图像；所述控制处理单元(4)与所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)、成像元件(1)通过导线相连或通过无线传输方式通讯；所述控制处理单元(4)控制所述第一定向光源组(21)、第二定向光源组(22)、结构光光源(3)的点亮和熄灭；所述控制处理单元(4)控制所述成像元件(1)采集图像，并对所述成像元件(1)采集的图像进行实时处理；其特征在于：所述多层多道焊接轨迹检测方法包括以下步骤：1)记光源L₁、光源L₂和光源L₃分别为所述第一定向光源组、第二定向光源组和结构光光源；设ξ、ζ、η为数字1、2、3的任意一个排列，其中ξ、ζ、η为互不相等的正整数；设num为焊接过程中成像元件采集的工件表面图像的总张数，且num是3的倍数；设Time为焊接过程中成像元件采集num张工件表面图像所需的总时间；记t为任意不大于Time的非负实数时间，设T＝Time/num，设n为任意小于num/3的非负整数；2)在3nT<t<(3n+1)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ξ点亮，光源L_ζ和光源L_η熄灭，并使所述成像元件采集光源L_ξ点亮时的工件表面图像；3)在(3n+1)T<t<(3n+2)T的任意时间内，所述控制处理单元发出控制信号，使光源L_ζ点亮，光源L_ξ和光源L_η熄灭，并使所述成像元件采集光源L_ζ点亮时的工件表面图像；4)在(3n+2)T<t<(3n+3)T的任意时间内，所述控制处理单元发出控制信号，使光源L_η点亮，光源L_ξ和光源L_ζ熄灭，并使所述成像元件采集光源L_η点亮时的工件表面图像；5)若待检测焊道轨迹与工件表面图像列坐标轴夹角小于或等于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；若待检测焊道轨迹与工件表面图像列坐标轴夹角大于45°，设第一定向光源组、第二定向光源组和结构光光源在3nT<t<(3n+3)T时间内分别点亮时成像元件采集的工件表面图像旋转90°后的图像为图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)；其中x和y均为任意正整数，分别表示工件表面图像的行坐标和列坐标，且x≤M，y≤N，M和N分别为工件表面图像的总行数和总列数；6)当n≥2时，所述控制处理单元对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)进行处理，计算获得焊道边界点的三维位置信息，最终获得多层多道焊接轨迹；所述步骤6)包括以下步骤：a)对图像I_1,n(x,y)、图像I_2,n(x,y)和图像I_3,n(x,y)各像素点的灰度值进行操作，计算获得相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)和J_3,n(x,y)，其中图像J_1,n(x,y)由第一定向光源组单独点亮时获得的图像I_1,n(x,y)、I_1,n‑1(x,y)和I_1,n‑2(x,y)的灰度值计算获得，图像J_2,n(x,y)由第二定向光源组单独点亮时获得的图像I_2,n(x,y)、I_2,n‑1(x,y)和I_2,n‑2(x,y)的灰度值计算获得，图像J_3,n(x,y)由结构光光源单独点亮时获得的图像I_3,n(x,y)、I_3,n‑1(x,y)和I_3,n‑2(x,y)的灰度值计算获得：J_1,n(x,y)＝max{min{I_1,n(x,y),I_1,n‑1(x,y)},min{I_1,n‑1(x,y),I_1,n‑2(x,y)}}，J_2,n(x,y)＝max{min{I_2,n(x,y),I_2,n‑1(x,y)},min{I_2,n‑1(x,y),I_2,n‑2(x,y)}}，J_3,n(x,y)＝min{I_3,n(x,y),I_3,n‑1(x,y),I_3,n‑2(x,y)}；式中，max和min分别表示取集合元素的最大值和最小值；b)对图像J_1,n(x,y)、J_2,n(x,y)进行处理，根据得到的相邻帧像素级融合图像J_1,n(x,y)、J_2,n(x,y)的灰度值，计算光影差分图像D_n(x,y)和光影差分梯度分布图像G_n(x,y)：D_n(x,y)＝|J_1,n(x,y)‑J_2,n(x,y)|；式中，D_n,x(x,y)为光影差分图像D_n(x,_y)在点(x,y)处对x的一阶偏导数值；D_n,y(x,y)为光影差分图像D_n(x,y)在点(x,y)处对y的一阶偏导数值；c)寻找光影差分梯度分布图像G_n(x,y)各行梯度值前K大的点Π，其中K为任意大于待检测焊道数量的正整数；令光影差分梯度分布图像G_n(x,y)第y列点Π的数量为p_0,n(y)，对p_0,n(y)进行低通滤波计算获得p_n(y)；d)分别选取任意一空集作为初始的置信区间集合U、初始的有效极大值位置集合U₁，对p_n(y)的每一个极大值点(y_i,p_n(y_i))按p_n(y_i)的值从大到小依次进行以下操作：若极大值点(y_i,p_n(y_i))的峰峰值大于r·p_n(y_i)，且有效极大值位置集合U₁为空集或y_i与有效极大值位置集合U₁任意元素之差均大于gap₁，则计算极大值点(y_i,p_n(y_i))的半高宽区间[y_L,i,y_R,i]，将半高宽区间[y_L,i,y_R,i]加入置信区间集合U，并将y_i加入有效极大值位置集合U₁；否则不进行任何操作；其中，r为任意小于1的正实数，gap₁为任意不大于N的正整数，i为任意不大于p_n(y)极大值点数量的正整数，y_i、y_L,i和y_R,i均为不大于N的正整数，且y_L,i≤y_i≤y_R,i；e)对图像J_3,n(x,y)进行处理，选取零至该图像最大灰度值的任意实数对图像J_3,n(x,y)进行阈值分割，获得二值图像B_n(x,y)；记二值图像B(x,y)第y列最长连续线段中点的行坐标为ε_n(y)；计算ε_n(y)的二阶导数，记为q_n(y)；选取任意一空集作为初始结构光图像候选点集合V，对于q_n(y)的每一个正极大值点(y_j,q_n(y_j))，若q_n(y_j)大于q_n(y)的平均值，则将y_j加入结构光图像候选点集合V；否则不进行任何操作；其中j为任意不大于q_n(y)正极大值点数量的正整数，y_j为q_n(y)的第j个正极大值点的列坐标；f)选取任意一空集作为初始焊道边界候选点集合W；对于置信区间集合U中的每一个区间[u_L,s,u_R,s]，若结构光图像候选点集合V中存在元素v₁,v₂,…,v_m位于区间[u_L,s,u_R,s]中，且q_n(v₁)≥q_n(v₂)≥…≥q_n(v_m)，则将v₁加入焊道边界候选点集合W；否则不进行任何操作；其中u_L,s,u_R,s,m和v₁,v₂,…,v_m均为正整数，s为任意不大于置信区间集合U元素个数的正整数；g)选取任意一空集作为初始焊道边界点集合R，对所述焊道边界候选点集合W的每一个元素w_k按q_n(w_k)的值从大到小依次进行以下操作：若焊道边界点集合R为空集或w_k与焊道边界点集合R任意元素的第一个分量之差均大于gap₂，则将点(w_k,ε_n(w_k))加入焊道边界点集合R；否则不进行任何操作；其中w_k为正整数，gap₂为任意不大于N正整数，k为任意不大于焊道边界候选点集合W元素个数的正整数；h)输出焊道边界点集合R的元素为待检测焊道的边界位置像素坐标；i)建立成像元件毫米坐标系{C}，所述成像元件毫米坐标系{C}的原点位于成像元件的光心位置；根据张正友标定方法，标定成像元件的内部参数和结构光光源的光平面在成像元件毫米坐标系{C}中的方程；结合成像元件的内部参数、结构光光源的光平面在成像元件毫米坐标系{C}中的方程，计算焊道边界点集合R中任意一个点σ在成像元件毫米坐标系{C}中的三维坐标Σ：式中，μ为结构光光源的光平面在成像元件毫米坐标系{C}中的法向量，λ为成像元件毫米坐标系{C}的原点到结构光光源的光平面的有向距离；F(σ)为图像像素坐标到成像元件毫米坐标系{C}坐标的转换函数，由成像元件的内部参数完全确定；输出Σ为待检测焊道的边界位置三维坐标，最终获得多层多道焊接轨迹。