[发明专利]一种基于深度网络的3D点云焊点缺陷检测方法

权利要求书

1.一种基于深度网络的3D点云焊点缺陷检测方法，其特征在于包括如下步骤：

(一)构建基于深度网络的点云检测网络模型；

所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；

在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；

在兴趣区域推荐模块中，根据实际工况限定感兴趣区域推荐范围；

在目标分类模块中，使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度；

使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，具体如下：

其中Loss表示目标函数的计算结果，也即基于深度网络的点云检测网络模型的优化目标，为N_bs个样本的焊点训练集焊点标签的one-hot结构编码，n＝2为焊点的类别数，y_i表示y的第i个元素，为点云检测网络模型输出，y′_i表示y′的第i个元素，为预设的代价矩阵，T表示矩阵的转置；

(二)检测；

(1)将基于深度网络的点云检测网络模型作为生产线检测流程中的一个环节，在生产线检测启动后，开始检测流程，进行系统初始化，生产线运行状态为正常运行，当点云相机拍摄得到一个待检工件的点云数据后，输入待检测点云数据；

(2)对点云数据进行预处理，得到维度为N×3的点云数据，并将其输入训练完成得到的基于深度网络的点云检测网络模型中，得到m个预测的维度为1×3的焊点候选框3D空间位置和m个维度为1×3的候选框尺寸以及m个候选框内点云分类结果，构成维度为m×6的预测焊点候选框信息和维度为m×1的分类结果；

(3)通过预设待检测工件中真实焊点数量m₀和维度为m₀×3的焊点相对空间位置，判断基于深度网络的点云检测网络模型预测的维度为m×3焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同；

(4)若预测焊点候选框位置的相对位置和真实焊点的相对位置差异不小于预设阈值q₀时，则将该样本标记和记录，并在生产线对检测工件分流，用于拾捡和人工检测；若相对位置差异小于预设阈值q₀时，则对预测候选框点云分类结果进行判断，当分类结果含有缺陷焊点时，则对该检测样本进行标记和记录，并在生产线对检测工件进行分流，用于拾捡和修复；当分类结果全部为正常样本时，则对该检测样本进行标记、记录，并在生产线对检测工件进行分流；分流完成后判断当前生产线状态是否为正常运行，若生产线状态为正常运行，则等待下一个点云相机拍摄待检测工件的点云数据，若生产线状态为异常停止或者正常停止则停止检测，结束检测流程；

(三)判断；

通过预设待检测工件中焊点数量和焊点相对3D空间位置，判断基于深度网络的点云检测网络模型预测的焊点候选框位置是否为真实焊点位置以及预测的焊点数量m是否与真实数量m₀相同，先判断预测焊点数量m和真实焊点数量m₀是否相等，在数量相等的条件下，根据预测焊点候选框位置的相对位置和真实焊点相对位置差异判断点云检测网络模型预测焊点是否为有效预测，具体如下：

已知预测焊点候选框位置矩阵真实焊点候选框相对位置矩阵且预测焊点数m和真实焊点数m₀相同，单个电路板待检焊点数多于3个，计算预测焊点m和真实焊点m₀的候选框位置相对位置差异如下：

其中，q为预测焊点m和真实焊点m₀的候选框位置相对位置差异，M_avg，M_rp，M_err为中间变量，为正实数域，为实数域。