[发明专利]一种基于深度网络的3D点云焊点缺陷检测方法

说明书

本发明涉及一种基于深度网络的3D点云焊点缺陷检测方法，所述检测方法包括：在语义分割和特征提取时，采用基于双线性池化方法进行细粒度特征融合，有助于提高差异性较小样本的特征提取能力；限制兴趣区域搜索范围有助于提高检测速度同时降低误检率；使用基于代价敏感方法的改进交叉熵函数作为目标函数调整对正常焊点分类的严格程度，有助于提高正常焊点检测的精确率，降低假阳性率；设计预测焊点候选框位置与真实焊点的相对位置差异的计算方法，有助于减少焊点定位预测的误判、漏判等情况；本发明能对电路板中焊点进行有效定位和检测，有助于提高焊点质量检测的准确率，对工业电路板生产具有重要的现实意义。

技术领域

本发明属于电路板焊点缺陷检测技术领域，涉及一种基于深度网络的3D点云焊点缺陷检测方法。

背景技术

现代社会发展迅猛，计算机视觉技术正在广泛地应用于各种工业生产的质量监控。传统的焊点缺陷分类与检测是通过人工视觉进行检测，检测人员在产线工位通过人眼识别判断焊点是否存在缺陷，若发现缺陷则进行标记、记录、拾捡和后续修改工作。人工视觉检测方法具有很多弊端，受限于人类视觉和大脑的生理机能，人工分类和检测效率不高，焊点缺陷检出标准难以量化和统一，稳定性差；同时增加劳动力成本和容易引起视觉相关职业疾病。采用自动检测系统则是通过对焊点图像进行处理和分析完成电路板中焊点的检测与分类，而整个系统的关键是基于图像处理的焊点缺陷检测与分类算法。在焊点缺陷检测与分类算法的研发过程中缺乏先验性，导致焊点缺陷检测算法适应性难以保证；同时，图像对于环境光线敏感，同一样本在不同光线下图像的差异性较大，基于边缘检测对图像进行焊点定位易受环境光线影响，导致焊点定位、检测精度下降。

近年来，深度学习因其强大的特征提取和抽象能力得到了突破性的发展。点云以其最接近物理世界刻画的数据表征能力在工业界得到广泛应用，结合深度学习模型强大的学习能力，高效的特征表达能力，从像素级原始数据到抽象的语义概念逐层提取信息，这使得它在提取点云的全局特征和上下文信息方面具有明显的优势，这为解决一些传统的点云问题，如点云分类、分割、检测以及识别等，带来了新的思路。电路板中的焊点可能存在少锡、多锡、连锡、拉尖等焊接缺陷，正常焊点与缺陷焊点在形状上存在一定差异，由于点云对焊点形状良好的刻画能力，在电路板焊点缺陷检测背景下，采用深度学习和现有焊点缺陷检测和分类算法的结合，将具有巨大的应用前景和意义。

经对现有技术的检索发现，目前还没有直接基于3D点云数据的深度神经网络方法对电路板焊点缺陷进行定位、检测和分类的相关专利和文献，只有部分采用传统的基于图像的统计学方法、边缘检测方法和基于模型的方法对电路板焊点缺陷检测的文献，其主要检测手段和思想与本发明还存在着较大的差别。专利CN 109859181 A中提出一种基于支持向量机的焊点缺陷检测方法，通过对采集的焊点图像进行特征提取和检测，准确率较高，但是方法本身并不具备对焊点进行定位的能力，仍需要获取对应焊点位置再进行焊点检测，同时使用的数据格式为图像，与本方法采用的3D点云数据区别较大。

发明内容

本发明的目的是解决现有技术中存在的上述问题，提供一种基于深度网络的3D点云焊点缺陷检测方法。

为达到上述目的，本发明采用的技术方案如下：

一种基于深度网络的3D点云焊点缺陷检测方法，包括如下步骤：

(一)构建基于深度网络的点云检测网络模型；

所述基于深度网络的点云检测网络模型包括语义分割与特征提取模块、兴趣区域推荐模块、兴趣区域池化与特征融合模块、兴趣区域筛选与精修模块以及目标分类模块；

在语义分割与特征提取模块中，采用双线性池化方法实现点云细粒度特征融合；

生产线中点云拍摄相机是固定的，检测工位上待检工件多次检测时位置变化范围较小，在兴趣区域推荐模块中，根据这一实际工况限定感兴趣区域推荐范围，，可减少候选框的数量，提高检测速度同时降低误检率；