[发明专利]一种基于机器视觉巡游式环锭纺断纱检测方法

权利要求书

1.一种基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，包括以下步骤：

步骤1、带有工业摄像头的工业相机对纱线进行巡游式检测，处理器获取工业相机巡游中的图片；

步骤2、建立目标区域识取模型并对目标区域识取模型进行训练，将步骤1获得的实时图像输入训练后的目标区域识取模型，判断图像中是否包含纱线目标，并提取包含纱线目标的图像的感兴趣区域，具体包括以下步骤：

步骤201、建立基于目标检测的深度神经网络结构作为目标区域识取模型。该目标区域识取模型由一个输入层、一个卷积层COV.1、5个Inverted Residual Block层、一个卷积层COV.2、一个平均池化层和一个输出层组成，其中：

每个Inverted ResidualBlock层使用深度可分离卷积和残差结构；

输出层通过全连接层输出3个坐标点及一个CLASS类，其中，CLASS类分为两类，一类表示输入的图像包含纱线目标，另一类表示输入的图像不包含纱线目标；通过4个坐标点确定一个矩形框，当通过CLASS类显示输入的图像包含纱线目标时，利用该矩形框将图像中带纱线的目标区域框选出来；

步骤202、利用训练数据集对步骤201构建的目标区域识取模型进行训练，包括：

步骤2021、获取训练数据集：

使用工业摄像头收集在工厂中纺纱相关数据图片，拍摄多张带纱线目标的图像及多张不带纱线目标的黑白图像；

利用矩形框对带纱线目标的图像中的纱线目标进行框选，从而获得矩形框的三个角部坐标(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)，该矩形框为倾斜梯形；

不带纱线目标的图像所对应的三个角部坐标的值为0；

为每张图像设定标签数据，标签数据由三个角部坐标及CLASS类4个参数组成；

步骤2022、利用上一步得到的训练数据集对目标区域识取模型进行训练，训练时，计算全连接层的输出与训练数据集中标签数据的距离至为全连接层输出的三个角部坐标，为全连接层输出的CLASS类，至为标签数据的三个角部坐标，为标签数据的CLASS类；通过最小化距离来减少目标区域识取模型的预测误差，则目标区域识取模型的损失函数Loss定义为下式：

上式中，L_s交叉熵函数，用于判断图像是否包含纱线目标，p(x)为期望输出，q(x)为实际输出；L_c代表输出坐标点与真实坐标点之间的协方差；

步骤203、将实时图像输入训练好的目标区域识取模型，由目标区域识取模型输出该图像的CLASS类，若通过CLASS类判断当前图像包含纱线目标，则目标区域识取模型还输出4个用于确定矩形框的坐标点，利用该矩形框将图像中带纱线的目标区域框选出来，提取成单独的图片；

步骤3、通过透视处理将步骤2获得的图片恢复成正常矩形图像，对正常矩形图像进行平滑处理，达到突出纱线特征、平滑图像背景的目的；

步骤5、使用改进的sobel算子去除上一步骤获取到图像的背景，同时保留图像中纱线相关特征；

步骤6、利用阈值化对图像进行处理提取出纱线目标，再通过边缘轮廓查找进一步筛选并排除噪声，提取出纱线特征，随后通过添加霍夫变换，提取数值方向上达到要求长度的直线，最终得到n根纱线；

步骤7、基于上一步骤提取出的纱线特征，计算每根纱线的长度从而判断是否发生断纱现象，并在输出图像中将发生断纱现象的纱线标记出来，以达到可视化目的。

2.如权利要求1所述的基于机器视觉巡游式环锭纺断纱检测方法，其特征在于，其特征在于，步骤1中，所述图片为黑白图像。