[发明专利]基于深度学习的高清摄像头感光模组检测方法和检测装置

说明书

本发明公开基于深度学习的高清摄像头感光模组检测方法和检测装置。基于深度学习的高清摄像头感光模组检测方法包括输入图像：输入图像：输入通过摄像头组采集到的图像，手工生成的图像，软件生成的图像或通过网络获取到的图像；特征提取网络：用于从输入图像中提取特征图，包括多层的第一神经网络，用于从输入图像中提取特征图；分类或/和回归：所述分类用于产生最终的分类结果，所述回归用于产生缺陷的边界框或/和mask，边界框和mask存在其中一个或同时存在。本发明的基于深度学习的高清摄像头感光模组检测方法在小数据样本和样本缺陷多样化的前提下，提高神经网络的泛化能力，解决了训练过程中过拟合和不易收敛等问题，从而实现高准确率，高可靠性的针对高清摄像头感光模组的智能化检测。

技术领域

本发明涉及高清摄像头感光模组检测领域，尤其涉及基于深度学习的高清摄像头感光模组检测方法和检测装置。

背景技术

传统自动光学检测(AOI)中的算法以美国康耐视，德国Mvtech(Halcon)，以及开源的OpenCV等为代表。传统AOI设备受限于其算法，在检测效率，检测精准度，稳定性上有其不足之处；其主要工作原理采用传统机器视觉算法，如图像增强，高斯滤波器的图像去噪，空间域频域傅里叶变换，动态阀值调整等。对图像进行预处理，特征提取之后人为设定阀值来进行检测。这种做法处理一些缺陷特征复杂多变，产品形态不统一的检测项目非常困难，导致检测过程非常容易产生过检和漏检情况，这也就是为什么目前在许多行业还是采用工人检测，无法导入AOI系统的原因。高清摄像头模组行业目前仍采用人工检测。

现有技术中基于机器视觉工业检测设备算法大概有如下三种：

1.依据良品模板进行的模板匹配方法；

2.依据分类规则判断瑕疵的规则匹配方法；

3.模板和规则混合方法。

以上三种方法需要花费大量时间收集瑕疵样本，建立模板/规则，这些模板/规则与使用的瑕疵样本强相关，难以预测未知瑕疵，对于多样化的工业瑕疵，模板难以及时更新，且容易导致算法无法识别，从而产生大量的漏检或者过检。

现有工业类产品存在训练样本少，样品缺陷不明显且多样化，样本数量不均衡等问题。

发明内容

本发明的目的之一是解决现有技术中的不足而提出基于深度学习的高清摄像头感光模组检测方法，该方法能做到小样本数据的泛化和克服数据偏见。

本发明的目的之二是提供基于深度学习的高清摄像头感光模组检测装置，该装置能分别实现对感光模组表面的微小缺陷的特征进行拍照和对金线bonding缺陷进行拍照。

本发明的技术方案如下：

基于深度学习的高清摄像头感光模组检测方法，其特征在于：包括如下步骤：

输入图像：输入通过摄像头组采集到的图像，手工生成的图像，软件生成的图像或通过网络获取到的图像；

特征提取网络：用于从输入图像中提取特征图，包括多层的第一神经网络，用于从输入图像中提取特征图；

分类或/和回归：所述分类用于产生最终的分类结果，所述回归用于产生缺陷的边界框或/和mask，边界框和mask存在其中一个或同时存在。

上述摄像头组为工业摄像头、线扫摄像头或3D镜头。

上述图像为灰度图像、彩色图像、3D图像、3D图像和灰度图像组成的图像或3D图像和彩色图像组成的RGB-D图像。

上述图像经过平移，翻转，旋转，缩放，增加对比度，裁切，去噪声或调整图像颜色中一种或多种操作。