[发明专利]一种基于图像分割的非接触式皮带撕裂检测系统及方法

权利要求书

1.一种基于图像分割的非接触式皮带撕裂检测方法，其特征在于，基于一种基于图像分割的非接触式皮带撕裂检测系统实现，所述检测系统具体包括：数据输入模块、图像打标签模块、模型训练模块、皮带撕裂检测模块以及控制系统模块；

所述数据输入模块，用于获取现场皮带运行时的视频图像数据，此视频图像数据包括视频帧的皮带现场图片，输出到图像打标签模块；图像打标签模块将获取到的皮带现场图片进行标注，把撕裂部分的区域轮廓标注出来，并输出到模型训练模块；模型训练模块将标注好的图像数据输入至构建的图像分割网络中，经训练处理得到完备的皮带撕裂检测模块；将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果，并把皮带撕裂检测结果输出到控制系统模块；控制系统模块将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

所述皮带撕裂检测模块包括：基于改进的Deeplab-v3+的图像分割网络、基于U-Net的图像分割网络、基于SegNet的图像分割网络、集成学习的组合模块、基于超像素分割的优化处理模块；

所述基于改进的Deeplab-v3+的图像分割网络是基于原始Deeplab-v3+使用自注意力机制做的改进，得到的模块；所述基于U-Net的图像分割网络、基于SegNet的图像分割网络和改进的Deeplab-v3+图像分割网络并行输出皮带撕裂区域的检测结果；

所述集成学习的组合模块将上述三种模型输出的检测结果合并为一个检测结果；

所述基于超像素分割的优化处理模块是将原始图像进行超像素分割的处理后，进一步使用区域投票算法优化集成学习的组合模块合并的检测结果，使得撕裂区域的轮廓更加精确；

所述一种基于图像分割的非接触式皮带撕裂检测方法，具体包括以下步骤：

步骤1：通过工业摄像仪获取现场皮带运行时的视频图像数据，所述视频图像数据为工业摄像仪获取的视频帧的现场皮带图片；

步骤2：将视频图像数据进行筛选；对筛选后的视频图像数据进行标注，将撕裂部分的区域轮廓标注出来；标注的标签为与视频图像数据同尺寸的单通道图像，每个像素上的值代表所属的类别；

步骤3：将标注好的视频图像数据分别输入至改进的Deeplab-v3+图像分割网络、U-Net图像分割网络和SegNet图像分割网络中，经训练得到三个用于皮带撕裂检测的深度学习网络模型，输出三个检测结果；

步骤4：对于三个深度学习网络模型输出的三个检测结果，使用集成学习的方式，将三个结果合并为一个检测结果；

步骤5：将经过集成学习处理得到的结果使用超像素分割和区域投票进行优化处理，得到皮带撕裂检测模块，输出更加精细的检测结果；

步骤6：将现场皮带实时运行的视频图像数据输入到皮带撕裂检测模块中，得到皮带撕裂检测结果；

步骤7：将皮带撕裂检测结果输入到皮带控制系统的异常检测部分，控制系统综合各种信息来调整皮带的运行状态；

定期对皮带视频图像数据进行重新标注，统计皮带撕裂检测模型的正识别、负识别、误识别样本，将错误识别样本进行标注后，使用其训练并改进皮带撕裂检测模块的识别效果；

所述步骤3具体为：

步骤3.1：Deeplab-v3+的空洞空间金字塔池化结构获取视频图像数据的不同尺度的特征；引入通道注意力机制，将通道注意力机制放置在Deeplab-v3+的解码区的跃层特征融合之前，得到改进的Deeplab-v3+网络，输出检测结果；

步骤3.2：将标注好的视频图像数据输入至U-Net图像分割网络，训练出U-Net的网络权重，得到基于U-Net用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入U-Net模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

步骤3.3：将标注好的视频图像数据分别输入至SegNet图像分割网络，训练出SegNet的网络权重，得到基于SegNet用于皮带撕裂检测的深度学习网络模型；将视频图像数据输入SegNet模型中，输出为一张单通道的图片，尺寸为原始图片大小，每个像素上的值代表该像素的种类；

所述步骤3.1具体为：

步骤3.1.1：在空间维度上进行特征压缩，得到1*1*C的通道描述，这个特征图具有全局的感受野，也就是说将一个通道上的整个空间信息(H*W)压缩为一个全局特征，最后得到C个全局特征，采用全局平均池化实现；公式如下：

其中，输入进通道注意力机制的特征图U的尺寸为C*H*W，U_c为每个通道上的特征图，i、j用于遍历特征图的每个像素，F_sq代表全局平均池化操作；Z_c是每个通道上的特征被压缩后的值；

S＝F_ex(z，W)

F_ex是对于每个特征通道生成一个权重值S_c，S_C的集合S即为所有通道的权重；此处参数W代表被学习的权重，用来建模特征通道间的相关性；

最后，通过标量S_C与特征U_C相乘，得到经过通道注意力机制处理过的特征图

步骤3.1.2：将标注好的视频图像数据输入至改进的Deeplab-v3+图像分割网络，训练出网络权重，得到基于改进的Deeplab-v3+用于皮带撕裂检测的深度学习网络模型；将视频图像数据入改进的Deeplab-v3+模型中，输出为一张单通道的图片，尺寸为视频图像数据大小，每个像素上的值代表该像素的种类；

所述步骤4具体为：

使用投票法；假设预测类别是{C₁,C₂,...C_K}，对于任意一个预测样本x，T个弱学习器的预测结果分别是{h₁(x),h₂(x),...h_T(x)}；其中加权投票法对于视频图像数据上的某一个像素，每个弱学习器的分类票数都要乘以一个权重{λ₁,λ₂,...λ_T}，最终将各个类别的加权票数求和，最大的值对应的类别为这个像素的最终类别，即合并的检测结果；

所述步骤5具体为：

步骤5.1：首先在视频图像数据上生成K个种子点即聚类中心，这K个种子点在视频图像数据上是均匀分布的；假设视频图像数据有N个像素，则分割后每块超像素有N/K个像素，每块超像素的边长为sqrt(N/K)，两个聚类中心的距离为S，为了避免所选的种子点是边缘或者噪声点，对每个种子点，计算其3*3的窗口中像素的梯度，然后将聚类中心移动到梯度最小的那个像素上；

步骤5.2：对视频图像数据的每个像素，在其2S*2S周围内搜索与其最近的种子点，并分配他们属于某一种子类，直到所有像素点都归类完毕，得到K个超像素，距离度量公式：

其中，i、j用于遍历每个像素，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_s＝S＝sqrt(N/K)，N_c代表最大的颜色距离；l_i、a_i、b_i分别表示视频图像数据图片在LAB颜色空间三个通道上的值；D'表示对于每个搜索到的像素点，它和种子点的距离；

步骤5.3：计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛；

步骤5.4：根据步骤5.1—步骤5.3，得到经超像素分割处理后的结果，被分割为若干个超像素子区域，用若干子区域对步骤4得到的检测结果进行处理；

对于每个超像素子区域R，将该子区域内包含像素点个数最多的预测标签值赋予该子区域，其包含像素的最终预测标签值可以表示为：

其中，Pred(R)为超像素子区域R的分类类别，N_c代表总的类别数，#label代表第i个类别的票数；

所有的Pred结果汇总到一起即为优化后的检测结果。