[发明专利]一种基于深度学习的皮带跑偏检测方法

权利要求书

1.一种基于深度学习的皮带跑偏检测方法，其特征在于，包括以下步骤：

录制获取皮带日常的运行视频；

处理录制的皮带视频，把视频裁剪成图像，并把每张图像做固定四个点的鸟瞰图转换，标注所有鸟瞰图，制作成训练神经网络的数据集；

利用制作完成的数据集，并使用迁移学习训练神经网络模型；

根据转换鸟瞰图边缘图像位置，测量皮带机实际中左边到右边的宽度距离，最后依据图像的大小求出等比例转换公式；

利用深度学习中的神经网络识别结果和等比例转换公式算出跑偏的距离，判断跑偏方向，反馈给纠偏控制系统。

2.根据权利要求1所述的皮带跑偏检测方法，其特征在于，录制皮带日常的运行视频采用以下方法：

将云台摄像头安装在皮带机中间的正上方，安装高度为1米～1.5米；

获取皮带运行的日常作业录像保存到本地，并把其截取成一张一张的图像。

3.根据权利要求1所述的皮带跑偏检测方法，其特征在于，训练神经网络模型的数据集制作方法如下：

对截取的每张图像，在图像中选取指定的四个点坐标，利用opencv中的透视矩阵算法把所有原图像批量转化为鸟瞰图；

使用Labelme标注工具，批量标注转化好的鸟瞰图中的皮带部分；

删除标注过程中拍摄不清楚的图像；

把标注所得到的json文件，转为模型训练需要的txt文件。

4.根据权利要求3所述的皮带跑偏检测方法，其特征在于，所述鸟瞰图转化时，根据现场的托辊四个顶点位置标定鸟瞰图的四个顶点坐标。

5.根据权利要求1所述的皮带跑偏检测方法，其特征在于，利用制作完成的数据集，并使用迁移学习训练神经网络模型方法如下：

按比例选取数据集和训练集进行数据集的划分；

训练图像检测模型yolov5系列，设置网络超参数，使用迁移学习预训练增强效果。

6.根据权利要求5所述的皮带跑偏检测方法，其特征在于，神经网络模型选用yolov5-L。

7.根据权利要求1所述的皮带跑偏检测方法，其特征在于，所述等比例转换公式采用以下方法获得：

测量出鸟瞰图成像结果对应实际中宽度的距离；

按照实际宽度距离除以鸟瞰图像素大小的比例方式计算出一个像素值对应的距离大小，求出等比例系数。

8.根据权利要求1所述的皮带跑偏检测方法，其特征在于，跑偏方向通过以下方法进行判断：

利用神经网络识别结果的图像目标框中皮带左上角坐标值和右下角坐标值代入等比例转换公式算出图像左边的间距和右边的间距；

根据左间距和右间距判断是否是向左边偏移或者向右边偏移；

把最后的偏移方向和该方向的偏移距离一同反馈给纠偏控制系统，完成本次皮带跑偏检测的所有过程。