[发明专利]一种基于深度学习流水线产品追溯方法及系统

权利要求书

1.一种基于深度学习流水线产品追溯方法，其特征在于：包括以下步骤：

S1：采集生产流水线图片，并根据图片检测目标产品；

所述步骤S1中采集生产流水线图片采用多个工业相机进行整条流水线图片采集；

所述步骤S1中检测目标产品的检测方法，包括以下步骤：

S11：根据采集的图片制作数据集；

S12：将数据集输入深度学习目标检测模型进行训练；

S13：训练完成后进行模型剪切和量化；

S14：使用训练后的模型对采集的图片进行目标检测；

所述深度学习目标检测模型包括基础模型和检测模型，所述基础模型采用MobileNet网络结构，所述检测模型采用SSD网络，所述MobileNet网络结构提取目标特征，并在SSD网络中进行目标位置检测得到检测框和物体类别；

所述步骤S14中的目标检测结果包括产品的形状及颜色，所述颜色根据产品均匀分别的点像素值判断，采集多点像素值，减去均值，并根据三原色数值关系准确得到产品颜色；

S2：获取唯一虚拟标签，并与S1中目标产品进行绑定；

S3：将采集的图片、目标产品及虚拟标签的信息发送至后台数据；

S4：将虚拟标签与实体标签进行绑定；

S5：通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。

2.如权利要求1所述的一种基于深度学习流水线产品追溯方法，其特征在于：所述步骤S2中虚拟标签与目标产品进行绑定的方法，具体包括以下步骤：

S21：基于SORT跟踪算法对目标进行跟踪；

S22：针对流水线上第一个工业相机，当有新的目标进入，在指定位置流入相机则根据相机序列号赋予一个新的虚拟标签；当有新的目标未从指定位置流入相机，则赋予一个特别标签，表明该产品是非正常流入，需做处理；

S23：当同一目标产品从上一个相机视野流入下一个相机视野，从上一个相机通过MQTT信息获取虚拟标签赋予下一个相机此目标产品。

3.如权利要求2所述的一种基于深度学习流水线产品追溯方法，其特征在于：所述步骤S21中对目标进行跟踪，包括以下步骤：

S211：采用卡尔曼滤波通过历史帧的目标框数据预测得到当前帧目标框的预测值；

S212：使用检测框和预测值的IOU定义损失矩阵，采用匈牙利算法将前后帧两幅图像中的多个目标以损失最小的方式匹配关联起来，当一个目标消失多帧后就将其判定为流出当前相机视野，并将相关信息存储并通过MQTT传送到下一个相机子目标追踪系统中。

4.如权利要求1所述的一种基于深度学习流水线产品追溯方法，其特征在于：所述步骤S3具体包括以下步骤：将当前采集的图片及包含各目标位置、对应虚拟标签、对应目标形状及颜色信息发送给后端，并将图片缩小至原图的十六分之一，选取关键帧存储，关键帧的选择采用进或出相机视野帧。

5.如权利要求4所述的一种基于深度学习流水线产品追溯方法，其特征在于：所述方法还包括步骤S6，具体包括以下步骤：在前端显示实时检测结果，并进行历史搜索，根据实体标签搜索，找到与实体标签绑定的虚拟标签，在数据库中将所有此虚拟标签对应的图片提取出来，并显示在前端。

6.一种基于深度学习流水线产品追溯系统，其特征在于：包括：

采集检测模块，用于采集生产流水线图片，并根据图片检测目标产品；

所述采集检测模块中采集生产流水线图片采用多个工业相机进行整条流水线图片采集；

所述采集检测模块中检测目标产品，包括：

根据采集的图片制作数据集；

将数据集输入深度学习目标检测模型进行训练；

训练完成后进行模型剪切和量化；

使用训练后的模型对采集的图片进行目标检测；

所述深度学习目标检测模型包括基础模型和检测模型，所述基础模型采用MobileNet网络结构，所述检测模型采用SSD网络，所述MobileNet网络结构提取目标特征，并在SSD网络中进行目标位置检测得到检测框和物体类别；

所述目标检测结果包括产品的形状及颜色，所述颜色根据产品均匀分别的点像素值判断，采集多点像素值，减去均值，并根据三原色数值关系准确得到产品颜色；

虚拟标签绑定模块，用于获取唯一虚拟标签，并与目标产品进行绑定；

传输模块，用于将采集的图片、目标产品及虚拟标签的信息发送至后台数据；

实体标签绑定模块，用于将虚拟标签与实体标签进行绑定；

追溯模块，用于通过搜索实体标签找到对应的虚拟标签，根据对应的虚拟标签追溯目标产品的生产过程。