[发明专利]一种基于yolov3和CNN的盘头标识识别方法

权利要求书

1.一种基于yolov3和CNN的盘头标识识别方法，其特征在于，所述方法包括以下步骤：

S1：盘头图片获取：在实际的生产环境下，通过摄像头采集数据，分别采集在实际环境不同光线下印刷有红色标识的盘头；

S2：盘头图片处理：先切割出原图中完整的盘头标识，用yolov3模型训练盘头标识的切割；

S3：再根据切割出的盘头标识图片切割出单个字符图片；

S4：用CNN卷积神经网络训练盘头标识字符的识别；

S5：系统调试：将盘头标识切割、字符切割和字符识别整合成一个系统；

S6：配置树莓派4的环境，移植系统，最后在树莓派上调试。

2.如权利要求1所述的一种基于yolov3和CNN的盘头标识识别方法，其特征在于，所述步骤S1中，搭建实际的系统平台，固定摄像头位置，根据盘头滚过的触发指令让摄像头拍照，并保存为JPG格式。

3.如权利要求1或2所述的一种基于yolov3和CNN的盘头标识识别方法，其特征在于，所述步骤S2包括以下步骤：

S2-1：首先制作训练用的数据集，收集包含盘头的图片，将部分图片作为训练集，通过人工标注软件Labelimg人工标注盘头标识的边框，标签类别标为“biaozhi”，每一张图片都有一个相应的名字生成对应xml文件，将图片和xml文件做成VOC数据集格式，并且需要生成训练测试时用的train.txt,val.txt,test.txt和trainval.txt文件；

S2-2：所述yolov3模型中，yolov3使用的特征提取网络是DarkNet53，这个网络由残差单元叠加而成，将盘头原图作为神经网络的输入，首先通过特征提取网络，输出N*N的卷积特征图，生成N*N个gird cell，再经过预测层anchor boxes输出目标的类别和坐标，Bounding box坐标(z_x,z_y,z_w,z_h)预测计算公式如下：

z_x＝σ(q_x)+c_x

z_y＝σ(q_y)+c_y

其中q_x,q_y,q_w,q_h为yolov3每个Bounding box预测的中心点坐标与预测框的宽、高，c_x,c_y为框的中心坐标所在grid cell网格的坐标偏移量，p_w,p_h为预测前anchor的宽高；首先确定groundtruth中的目标中心坐标落在哪个Grid cell，然后根据该Grid cell来预测目标，yolov3中每个grid cell有三个anchor，在计算预测坐标z_x,z_y,z_w,z_h的loss时，选择三个anchor中置信度最高的来计算groundtruth的loss；

目标类别损失L_cla(o,c)采用的是二值交叉熵损失，其中o_ij∈{0,1}，表示预测目标边界框i是否存在目标，表示网络预测目标边界框i内存在目标的sigmoid概率，计算公式如下所示：

最后对预测的目标进行NMS处理，最后保留目标概率最高的矩形框，并且输出其矩形框的顶点坐标；

S2-3：根据训练好的模型切割出盘头标识和输出的顶点坐标，通过盘头标志大致长宽比筛选目标图片，将筛选出来的图片通过OpenCV透视变换进行矫正，透视变换的计算公式如下：

式中src()是输入矫正前图片的顶点坐标，dst()是输出矫正后的顶点坐标，M是3*3的变换矩阵，应用OpenCV里的getPerspectiveTransform()函数计算变换矩阵M。