[发明专利]一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法

权利要求书

1.一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法，其特征在于，包括以下步骤：

步骤S1、采集手机玻璃面板的原图和增强图：

1)将一系列黑白周期条纹投影到待检测的手机玻璃面板表面，通过相机拍摄一系列反射的黑白周期条纹图，采集完成后，打开暗场条形光源，采集一张暗场图像作为原图；

2)结合一系列黑白周期条纹图，根据公式(1)计算手机盖板玻璃凹凸型缺陷增强图对手机盖板玻璃凹凸型缺陷增强图进行图像增强，聚类连接，二值化得到候选区域二值化图；

其中表示在第k张图像上位于(i,j)处的像素灰度值，N表示拍摄的图像总量；

3)将采集到的原图和由增强图得到的候选区域二值化图进行透视变换到正视图的位置，得到一组样本；

步骤S2、构建训练数据集：

1)首先将步骤S1中得到的一组样本中的原图进行像素级标注，使用labelme软件对原图中的瑕疵区域通过锚点的方式进行标注，具体标注类别为划伤、压痕、凹凸痕、凹凸点、崩边和锯齿6种缺陷；

2)然后根据候选区域二值化图生成候选区域；

3)根据不同尺度和长宽比生成anchors，由于瑕疵形状的极度不规则，为保证对瑕疵的适应性，考虑n×m种候选框，其中n表示瑕疵候选框的尺寸类别数，m表示瑕疵候选框的长宽比类别数，n和m的取值依据数据集中瑕疵的实际分布进行确定；

4)根据anchors和标注框之间的IoU，从所有的anchors中选出属于背景区域的anchors，此时就可以按照1：1的比例从属于背景区域的anchors中选取一定数量的anchors作为负样本和步骤S2中的第2)步生成的候选区域作为正样本来作为一组样本所对应的训练数据；

5)重复以上步骤，即得一个包含大量标注数据的训练集；

步骤S3、构造用于特征提取的卷积神经网络结构，用基于FPN改进的残差网络作为具有特征融合功能的主干网络用来提取特征图，形成特征金子塔，由于在瑕疵检测中检测精度比较重要，所以残差网络选择精度较高的ResNet101网络；

步骤S4、利用步骤S1中通过增强图得到的二值化图像，首先提取二值化图像中的物体轮廓，然后求出对应轮廓的外接矩形作为瑕疵候选区域；

步骤S5、结合瑕疵候选区域和特征金子塔进行感兴趣区域池化操作，输出一个固定尺寸的特征向量；

步骤S6、构造用于瑕疵检测的网络头部，将步骤5得到的固定尺寸的特征向量输入头部网络进行瑕疵检测，其中头部网络包含三个分支，分别为Softmax分支进行计算瑕疵的分类输出，bbox回归分支进行瑕疵边界定位，FCN分支进行RoI像素级标注瑕疵mask输出；

步骤S7、训练神经网络：

1)使用COCO数据集对backbone主干网络进行预训练；

2)然后再用步骤S2构建的数据集来对整个检测网络进行微调；

步骤S8、将按步骤S1采集的待检测的手机玻璃面板原图和增强图同时输入训练好的检测网络中，获取瑕疵检测结果。

2.根据权利要求1所述的一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法，其特征在于，所述的步骤S1中涉及的黑白周期条纹图像序列的设置上需要保证在反射的手机玻璃面板所成的图像序列中，对手机玻璃面板上的每一个点都要保证至少有一张图像为该点在白条纹照射下所成的像，至少有一张图像为该点在黑条纹照射下所成的像。