[发明专利]一种适用于高空作业的视觉自动化检测方法

权利要求书

1.一种适用于高空作业的视觉自动化检测方法，其用于自动化检测高空作业工人是否佩戴安全带，其特征在于，该方法包括以下步骤：

(1)通过工地的视频监控来采集高空作业工人的图像数据以形成高空作业数据集；

(2)手动对所述高空作业数据集内的图像数据进行标注，以用于高空作业工人的识别，具体的，首先，依据有无高空作业人员对所述图像数据采用类0-1进行标注；接着，利用labellme程序对高空作业工人进行手动数据标注；之后，将矩形框的坐标及对应的标签保存到XML文件内，以供使用；

(3)采用标注后的所述图像数据对高空作业的Faster R-CNN模型进行训练，以得到能检测到高空作业工人的Faster R-CNN模型；

(4)将所述Faster R-CNN模型与深度神经网络相结合来分类及识别高空作业人员是否佩戴安全带，所述深度神经网络由五个卷积层、三个全连接层和一个分级层组成，具体为，采用深度神经网络可以学习通过正向传播及梯度以及其他过程对候选区域框内的工人是否佩戴安全带进行分类及识别，以检测出高空作业工人是否佩戴安全带；对高空作业工人是否佩戴安全带的识别过程中，在检测到高空作业工人后，可以通过所述XML文件获得该高空作业工人所在的候选区域框的坐标，Faster R-CNN的输出为OF：[[p,x₁,y₁,x₂,y₂]₁[p,x₁,y₁,x₂,y₂]₂…[p,x₁,y₁,x₂,y₂]_n]；

当i在范围长度OF内：D[i]＝I[x₁⁽ⁱ⁾:x₂⁽ⁱ⁾,y₁⁽ⁱ⁾:y₂⁽ⁱ⁾,:]；

其中，p是分类结果的置信度；(x1，y1)是矩形的左上坐标；(x2，y2)是矩形的右下坐标；n是检测到的人数；I是原始图像三维矩阵(长，宽，RGB)；D是输出检测人体图像矩阵的汇编；

候选区域框的像素可以作为输入用crop方法输入到深度神经网络中，图像中的安全带可以手动识别为正训练样本，当深度神经网络接受输入图像的原始像素时，输出识别结果。

2.如权利要求1所述的适用于高空作业的视觉自动化检测方法，其特征在于：步骤(3)中，所述Faster R-CNN的核心模块RPN采用n×n个空间窗口，提取到标注后的图像数据的最后一个卷积层的特征图，以生成对象边界框；接着，将所述对象边界框映射到256维矢量，以生成分类层及回归层，即作为两个全连接层的输入；当所述对象边界框到达卷积特征矩阵的末端时，所述分类层输出RPN引入的锚点属于前景或者背景的概率的2k评分，所述回归层输出对象边界框的4k坐标，由此获得存在高空作业工人的候选区域框，以便进行回归预测。

3.如权利要求2所述的适用于高空作业的视觉自动化检测方法，其特征在于：所述分类层用于提供对检测对象分类，所述回归层用于提供对检测对象选定框的判断。

4.如权利要求2所述的适用于高空作业的视觉自动化检测方法，其特征在于：所述RPN中引入了所述锚点，所述锚点设置在每个对象边界框的中心，以处理不同尺度和长宽比的对象。

5.如权利要求1所述的适用于高空作业的视觉自动化检测方法，其特征在于：在分类及识别高空作业人员是否佩戴安全带的过程中使用的Softmax函数表示为概率函数。