[发明专利]基于深度学习的焊点外观质量检测方法、装置及终端

权利要求书

1.一种基于深度学习的焊点外观质量检测方法，其特征在于，包括：

获取目标焊点的三维点云图；

将所述目标焊点的三维点云图进行处理，得到所述目标焊点所对应的多张连续的二维图像；

将所述目标焊点所对应的多张连续的二维图像输入预设置的基于三维卷积神经网络的检测模型中；

通过所述检测模型对所述目标焊点所对应的多张连续的二维图像进行检测，检测结果为所述目标焊点合格或不合格。

2.根据权利要求1所述的方法，其特征在于，所述获取包含目标焊点的三维点云图包括：

将激光器按照预设角度投射到电路板上，其中，所述电路板包含所述目标焊点；

保持所述激光器不动，匀速移动所述电路板，得到所述电路板的激光扫描图像；

通过由双棱镜和摄像机组成的摄像系统获取所述电路板的立体图像；

根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图，所述电路板的三维点云图中包含所述目标焊点的三维点云图。

3.根据权利要求2所述的方法，其特征在于，所述获取所述电路板的立体图像包括：

对所述摄像系统中的摄像机进行标定，获取所述摄像机的内部参数和外部参数，得到所述电路板的左图像和右图像；

对所述左图像和右图像进行立体校正；

所述根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图包括：

将校正后的左图像和右图像与所述电路板的激光扫描图像进行匹配，得到对应的匹配点对；

采用区域立体匹配SSD算法得到视差图，计算得到三维数据，生成所述电路板的三维点云图。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：

建立训练集，所述训练集中包含多个图组，每个图组包含一个焊点所对应的多张连续的二维图像，根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点；

构建三维卷积神经网络模型，对所述训练集进行深度学习，得到所述检测模型。

5.根据权利要求4所述的方法，其特征在于，所述根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点包括：

若所述焊点的焊料连接面形状为预设形状，所述焊料的焊接带宽度与所述焊点对应的电子元件的宽度的比例大于等于第一预设值，所述焊料的焊接带高度与所述焊点对应的电子元件的高度的比例大于等于第二预设值，则判断所述焊点为合格焊点，否则为不合格焊点。

6.根据权利要求1所述的方法，其特征在于，所述检测模型包括五层网络，第一层网络包括硬线层，第二层网络包括三维卷积层和最大池化层，第三层网络包括三维卷积层和最大池化层，第四层网络为二维卷积层，第五层网络为输出层。

7.根据权利要求6所述的方法，其特征在于，所述通过所述检测模型对所述目标焊点所对应的多张连续的二维图像进行检测包括：

以所述目标焊点所对应的多张连续的二维图像作为输入，通过硬线层提取包括灰度、横坐标梯度、纵坐标梯度、x光流、y光流在内的五个通道的特征；

通过第二层网络对所述五个通道的特征进行第一次进行卷积操作和降采样操作；

通过第三层网络对所述硬线层的五个通道的特征进行第二次进行卷积操作和降采样操作；

通过所述二维卷积层和所述输出层获取对所述目标焊点所对应的多张连续的二维图像的检测结果。