[发明专利]基于计算机视觉的煤码头带式输送机自适应控制方法

摘要

本发明公开了一种基于计算机视觉的煤码头带式输送机自适应控制方法，其包括：离线预训练阶段，通过录制输送带运行视频，提取图片，制作输送量训练数据集、输送量测试数据集、异常状态训练数据集和异常状态测试数据集，训练基于卷积神经网络的带式输送机输送量检测模型和带式输送机异常状态的检测模型；在线监控阶段，使用训练好的带式输送机输送量检测模型和异常状态检测模型对输送带进行实时监测，根据带式输送机的输送量自适应控制带式输送机的传输速度，同时检测输送带的多种异常状态，发现异常状态后可以立即停止运行，并发出对应异常状态的警报，极大的降低了带式输送机的运行成本的，提高了带式送机检修维护的效率，降低了维护成本，提高了安全性，使用了卷积神经网络进行检测模型的建立，提高了检测精度，减小了识别的错误率。

主权项

1.基于计算机视觉的煤码头带式输送机自适应控制方法，其特征在于，所述方法包括离线预训练阶段和在线监控阶段：所述离线预训练阶段包括制作输送量训练数据集和输送量测试数据集、训练带式输送机输送量检测模型、制作异常状训练数据集和异常状态测试数据集、训练带式输送机异常状态检测模型；所述在线监控阶段功能在于使用训练好的输送量检测模型和异常状态检测模型对带式输送机进行实时的在线输送量检测和异常状态检测，根据带式输送机输送量的大小和有无异常状态自适应的控制带式输送机传输速度；所述制作输送量训练数据集和输送量测试数据集的步骤如下：(1)获取输送量视频数据,在输送带上方安装网络摄像机1并对输送带进行长时期不间断录像，获得在不同输送量、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；(2)对录制的视频逐帧提取图片；(3)从获取的图片中选取输送带“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片各N张(N≥10000)，组成输送量图片样本集；其中，每种输送量的输送带图片要将在不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的4种输送量的各N张图片，使用g(c,d)＝median{f(c‑e,d‑f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c‑e,d‑f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；(5)为输送带建立4种输送量的标签(Label)值表：“无输送量”＝0，“少输送量”＝1，“中输送量”＝2，“大输送量”＝3；(6)为输送量图片样本集中每一张图片设置对应的输送量标签值；(7)将输送量图片样本集划分为输送量训练数据集和输送量测试数据集,从输送量图片样本集中选取“无输送量”、“少输送量”、“中输送量”和“大输送量”共4种输送量的图片样本各5000张，在选取每种输送量的5000张图片样本时，要充分包含不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这4种输送量共20000张输送量图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张输送量图片样本的图片名和对应的输送量标签值保存到train_label1.txt文件中，这20000张输送量图片样本和train_label1.txt文件构成了输送量训练数据集；按同样的方法，从输送量图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张输送量图片样本的图片名和对应的输送量标签值按照摆放顺序保存到test_label1.txt文件中，将此5000张输送量图片样本和test_label1.txt文件作为输送量测试数据集；所述制作异常状态训练数据集和异常状态测试数据集的步骤如下：(1)获取异常状态视频数据,在输送带下方安装网络摄像机2并对输送带进行长时期不间断录像，获得在不同运行状态、不同时间段、不同光照强度和不同温湿度环境下的输送带视频数据；(2)对录制的视频逐帧提取图片；(3)从获取的图片中选取输送带“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态的图片各N张(N≥10000)，组成异常状态图片样本集；其中，每种异常状态的图片都要将输送带在不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况都包含在内；(4)为了消除摄像机在成像和传输过程中带来的噪声干扰，并能最大程度的保留原始图片信息，对选取的6种状态的各N张图片，使用g(c,d)＝median{f(c‑e,d‑f)},(e,f)∈H进行中值滤波，其中(c,d)表示原始图片的某一像素的位置坐标，g(c,d)表示对原始图片(c,d)位置的像素滤波后的像素值，f(c‑e,d‑f),(e,f)∈H表示滤波模板窗口H在原始图片(c,d)像素上的各个像素值，median{}表示选取{}里所有像素值的中间值；(5)为输送带建立6种状态的异常状态标签(Label)值表：“无异常”＝0，“跑偏”＝1，“撕裂”＝2，“划伤”＝3，“削边”＝4，“坑洞”＝5；(6)为异常状态图片样本集中每一张图片设置对应的异常状态标签值；(7)将异常状态图片样本集划分为异常状态训练数据集和异常状态测试数据集,从异常状态图片样本集中选取“无异常”、“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”共6种状态图片样本各5000张，在选取每种状态的5000张图片样本时，要充分包含不同运行状态、不同时间段、不同光照强度和不同温湿度环境的各种情况，再将选取的这6种状态的共30000张异常状态图片样本按照随机顺序进行摆放，并按照摆放的顺序将每张异常状态图片样本的图片名和对应的异常状态标签值保存到train_label2.txt文件中，这30000张异常状态图片样本和train_label2.txt文件构成了异常状态训练数据集；按同样的方法，从异常状态图片样本集剩余的图片样本中随机选各种状态共5000张，按照随机顺序进行摆放，并将此5000张异常状态图片样本的图片名和对应的异常状态标签值按照摆放顺序保存到test_label2.txt文件中，将此5000张异常状态图片样本和test_label2.txt文件作为异常状态测试数据集；所述训练带式输送机输送量检测模型，带式输送机输送量检测模型是一个由计算机软件实现的卷积神经网络，其结构为输送量样本输入层a^[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；输送量图片样本通过输送量样本输入层a^[0]输入到卷积神经网络中，经过卷积层1输出为z^[1]＝w^[1]a^[0]+b^[1]，经过激活层1输出为a^[1]＝g(z^[1])，经过最大池化层1输出为a^[2]＝Max(a^[1])，经过卷积层2输出为z^[3]＝w^[3]a^[2]+b^[3]，经过激活层2输出为a^[3]＝g(z^[3])，经过最大池化层2输出为a^[4]＝Max(a^[3])，经过全连接层1输出为a^[5]＝g(w^[5]a^[4]+b^[5])，经过全连接层2输出为a^[6]＝g(w^[6]a^[5]+b^[6])，经过Softmax层输出值为其中，卷积神经网络中a^[0]是已知的输送量图片样本，w^[1]，w^[3]，w^[5]，w^[6]和b^[1]，b^[3]，b^[5]，b^[6]为未知矩阵参数，需要经过训练之后确定，z^[1]，z^[3]和a^[1]～a^[5]为中间计算出的值，Max(a)函数用于计算a中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的带式输送机4种输送量可能出现的概率选择概率最大的作为最终判断出的输送量大小计算交叉熵损失函数其中y分别表示对当前输送量图片样本卷积神经网络计算得到的估计值和真实值，的值是通过卷积神经网络计算输出得到，y的值是从train_label1.txt中获取；卷积神经网络构建完成后，使用输送量训练数据集对卷积神经网络训练，训练步骤如下：(1)初始化卷积神经网络中各层所有未知矩阵参数w[i],b[i],i∈(1,3,5,6)为随机值，设置迭代次数为s，学习率为lr，设置输入aj为输送量训练数据集中第1个样本aj＝a0，其中下标j表示第j个图片样本，a0表示输送量训练数据集中第1个图片样本；(2)向卷积神经网络输送量样本输入层a[0]中输入图片样本aj；(3)通过卷积神经网络进行逐步计算得到输出的输送量估计值(4)使用输入图片样本a_j对应的真实值y和估计值计算输出交叉熵损失函数(5)计算出卷积神经网络各层中每个参数w^[i]和b^[i]的变化值Δw^[i]和Δb^[i]，其中i∈(1,3,5,6)；(6)使用lr、Δw[i]和Δb[i]的值更新卷积神经网络中所有参数w[i]和b[i]的值，w[i]＝w[i]‑lr*Δw[i]，b[i]＝b[i]‑lr*Δb[i]，其中i∈(1,3,5,6)；(7)判断是否为输送量训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为aj即aj＝aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；(8)判断迭代是否结束(s＝0)，如果没有结束(s≠0)，则重新选择输送量训练数据集第1个样本作为aj即aj＝a0，迭代次数s＝s‑1，跳到(2)，如果迭代结束(s＝0)，则跳转到(9)；(9)设定带式输送机输送量检测模型检测正确率阈值t，将输送量测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个输送量图片样本的输送量估计值并和test_label1.txt中保存的对应输送量真实值y比较，计算带式输送机输送量检测的正确率其中表示输送量测试数据集中估计值和真实值相同的个数，∑Num(y)表示输送量测试数据集中所有样本的个数，若acc＜t，则转到(1)，若acc≥t，则转到(10)；(10)将卷积神经网络中的所有参数w[i]和b[i]固定且保存，其中i∈(1,3,5,6)，带式输送机输送量检测模型训练完成；所述训练带式输送机异常状态检测模型，带式输送机异常状态检测模型是一个由计算机软件实现的卷积神经网络，其结构为异常样本输入层A^[0]，卷积层1，激活层1，最大池化层1，卷积层2，激活层2，最大池化层2，全连接层1，全连接层2和Sofmax层；异常状态图片样本通过异常样本输入层A^[0]输入到卷积神经网络中，经过卷积层1输出为Z^[1]＝W^[1]A^[0]+B^[1]，经过激活层1输出为A^[1]＝g(Z^[1])，经过最大池化层1输出为A^[2]＝Max(A^[1])，经过卷积层2输出为Z^[3]＝W^[3]A^[2]+B^[3]，经过激活层2输出为A^[3]＝g(Z^[3])，经过最大池化层2输出为A^[4]＝Max(A^[3])，经过全连接层1输出为A^[5]＝g(W^[5]A^[4]+B^[5])，经过全连接层2输出为A^[6]＝g(W^[6]A^[5]+B^[6])，经过Softmax层输出值为其中，卷积神经网络中A^[0]是已知的异常状态图片样本，W^[1]，W^[3]，W^[5]，W^[6]和B^[1]，B^[3]，B^[5]，B^[6]为未知矩阵参数，需要经过训练之后确定，Z^[1]，Z^[3]和A^[1]～A^[5]为中间计算出的值，Max(A)函数用于计算A中每个2×2的区域中，取像素值最大的一个值组成的输出矩阵值，g(k)＝max(0,k)，max()函数的值为()中较大的一个参数值，Softmax层输出的是计算得到的输送带6种状态可能出现的概率选择概率最大状态的作为最终判断出的输送带异常状态结果计算交叉熵损失函数Y分别表示对当前异常状态图片样本卷积神经网络计算出的估计值和真实值，的值是通过卷积神经网络计算输出得到，Y的值从train_label2.txt中获取；卷积神经网络构建完成后，使用异常状态训练数据集进行卷积神经网络训练，训练步骤如下：(1)初始化卷积神经网络中各层所有参数W[i],B[i],i∈(1,3,5,6)为随机值，设置迭代次数为S，学习率为LR，设置输入Aj为异常状态训练数据集中第1个样本Aj＝A0，其中下标j表示第j个图片样本，A0表示异常状态训练数据集中第1个图片样本；(2)向卷积神经网络异常样本输入层A[0]中输入图片样本Aj；(3)通过卷积神经网络进行逐步计算得到输出异常状态估计值(4)使用输入图片样本A_j对应的真实值Y和估计值计算输出交叉熵损失函数(5)计算出卷积神经网络各层中每个参数W^[i]和B^[i]的变化值ΔW^[i]和ΔB^[i]，其中i∈(1,3,5,6)；(6)使用LR、ΔW[i]和ΔB[i]的值更新卷积神经网络中所有参数W[i]和B[i]的值，W[i]＝W[i]‑LR*ΔW[i]，B[i]＝B[i]‑LR*ΔB[i]，其中i∈(1,3,5,6)；(7)判断是否为异常状态训练数据集中最后1个样本，如果不是最后1个样本，则将选择下1个样本作为Aj即Aj＝Aj+1，则跳转到(2)；若是最后1个样本，则跳转到(8)；(8)判断迭代是否结束(S＝0)，如果没有结束(S≠0)，则重新选择异常状态训练数据集第1个样本作为Aj即Aj＝A0，迭代次数S＝S‑1，跳到(2)，如果迭代结束(S＝0)，则跳转到(9)；(9)设定带式输送机异常状态检测模型检测正确率阈值T，将异常状态测试数据集中的所有图片样本依次输入到卷积神经网络中，计算出每个图片样本的异常状态估计值并和test_label2.txt中保存的对应异常状态真实值Y比较，计算出带式输送机异常状态检测的正确率其中表示异常状态测试数据集中估计值和真实值相同的个数，∑Num(Y)表示异常状态测试数据集中所有样本的个数，若ACC＜T，则转到(1)，若ACC≥T，则转到(10)；(10)将卷积神经网络中的所有参数W[i]和B[i]固定且保存，其中i∈(1,3,5,6)，带式输送机异常状态检测模型训练完成；所述在线监控阶段执行步骤如下：(1)获取网络摄像机2拍摄到的带式输送机的图片，输入到带式输送机异常状态检测模型中，计算检测结果，如果出现“跑偏”、“撕裂”、“划伤”、“削边”和“坑洞”任何一种异常，则停止输送带运行，并发出对应异常状态的警报提示；如果检测结果为“无异常”，则转入步骤(2)；(2)获取网络摄像机1拍摄到的带式输送机的图片，输入到带式输送机输送量检测模型中，计算检测结果，如果结果为“无输送量”，则调节带式输送机的传输速度为停止状态，如果结果为“少输送量”，则调节传输速度为慢速状态，如果结果为“中输送量”，则调节传输速度为中速状态，如果结果为“大输送量”，则调节传输速度为快速状态，完成后转到步骤(1)，如此循环执行,不断地对带式输送机输送带进行检测并控制。