[发明专利]基于卷积神经网络的智能钢渣检测方法和系统

权利要求书

1.一种基于卷积神经神经网络的智能钢渣检测方法，其特征在于包括如下顺次执行的步骤：

钢渣图像识别：利用红外探测器和摄像机，获取包含钢流和钢渣亮度信息的钢渣视频帧图像；以视频帧图像中的彩色钢渣图像为对象，采用基于改进的AlexNet卷积神经网络的图像识别方法识别出彩色钢渣图像；

钢流目标检测：对彩色钢渣图像中的钢流信息进行检测，通过基于YOLOv3卷积神经网络的目标检测方法，将钢流从复杂的背景中检测出来，从而准确检测出钢流夹渣情况；

彩色钢渣图像分割步骤：针对彩色钢渣图像目标与背景区域颜色存在较大差异以及钢渣亮光被误分割为钢渣的问题，基于Lab颜色空间的K均值聚类算法对彩色图像进行预处理并采用改进的Otsu图像分割算法，将钢渣从钢水中完全分离。

2.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣图像识别步骤中，基于改进的AlexNet卷积神经网络的图像识别方法具体包括以下步骤：

选取样本图片进行样本数据分类，样本图片中的一大部分作为训练集，剩余的部分作为测试集，将样本图片分为正样本和负样本两类，将正样本命名为“have”，表示钢渣含量多，负样本命名为“no”，表示钢渣含量少；

搭建tensorflow和keras深度学习框架，利用这两个框架来创建改进的AlexNet卷积神经网络模型；

进行图片预处理，使用h5py存储数据集图片以实现灵活高效的I/O、高容量和复杂数据；导入Python中的os、numpy、matplotlib库；

定义函数获取数据集的路径列表与标签列表，定义标签对应的类别为钢渣；

将所有的训练集图片和测试集图片转换为numpy数组；

将训练集数据和测试集数据存储到h5文件；

导入数据集，对数据集进行测试并将部分数据集可视化；

训练AlexNet网络模型，对AlexNet网络模型进行改进；

利用训练好的AlexNet网络模型得到最优识别精度。

3.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于钢渣目标检测步骤中，基于YOLOv3卷积神经网络模型的目标检测方法包括如下步骤：首先，将输入钢渣图像尺寸归一化，利用设计好的网络训练钢渣数据集，得到卷积神经网络模型；然后利用训练好的模型得到当前钢渣目标的包围框置信度，并对边界框中的物体进行分类；最后，通过非极大值抑制算法过滤边界框，得到最优结果。

4.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于彩色钢渣图像分割步骤中，首先，将RGB颜色空间通过变换转到均匀的Lab颜色空间；然后，利用k均值聚类算法对图像进行预处理以实现了钢渣与背景的初步分离；最后，将背景像素点占整幅图像的比例作为权重引入到目标方程式中，采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割，将钢渣较为准确的从钢流中分离出来。

5.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于采用改进的Otsu图像分割算法对预处理后的钢渣图像进行阈值分割括如下具体步骤：

将预处理后的彩色钢渣图像转为灰度图像，计算出图像的灰度直方图；

设置阈值t；

将图像分为背景和目标两类，计算目标和背景灰度均值，根据直方图得到平均灰度均值；

根据改进的最佳阈值选取公式，遍历灰度级，使函数取得最大值时的t即为最佳阈值Th；

根据最佳阈值进行图像分割，输出分割图像。

6.根据权利要求1所述的基于卷积神经神经网络的智能钢渣检测方法，其特征在于利用可视化用户界面系统，进行钢渣可视化检测；步骤如下：

新建主窗口；

将ui文件转为py文件；

调用函数文件；

布局管理器布局，对播放、暂停、分类、检测、分割按钮进行布局；

当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。

7.一种基于卷积神经网络的智能钢渣检测系统，其特征在于：包括彩色钢渣图像识别模块、彩色钢渣图像检测模块、彩色钢渣图像分割模块和可视化用户界面系统；

所述图像识别模块设置为利用基于改进的AlexNet卷积神经网络作为钢渣图像识别的模型框架来学习、处理、分析由红外探测器和摄像机获取的图像，所述改进的AlexNet卷积神经网络共有：卷积层5个、池化层5个、全连接层2个，使用RELU函数作为CNN的激活函数，训练时使用Dropout随机忽略一部分神经元，在CNN中使用重叠的最大池化；

所述目标检测模块设置为基于YOLOv3卷积神经网络模型，利用基于YOLOv3卷积神经网络模型的目标检测方法对图像识别模块识别出的彩色钢渣图像进行检测，将钢流从复杂的背景中检测出来；

所述图像分割模块设置为利用基于Lab颜色空间的K均值聚类算法对目标检测模块处理后的彩色图像进行预处理，并利用改进的Otsu方法的图像分割算法对彩色钢渣图像进行分割时，将钢渣从钢水中完全分离；

所述可视化用户界面系统设置为通过按钮可视化操作；所述可视化用户界面系统包括用于新建主窗口、转化文件并对转化后文件进行文件调用的菜单系统，还包括布局管理器，用于对播放、暂停、分类、检测、分割按钮进行布局，当视频播放时，点击“分类”按钮，对钢渣图像进行识别，界面上会显示识别精度；点击“检测”按钮，用户界面上会出现检测框，自动标记出检测的钢水部分及其置信度；点击“分割”按钮，用户界面上会显示分割出的钢渣。