[发明专利]基于多视频帧信息和核相光滤波算法的车牌检测识别方法

权利要求书

1.一种基于多视频帧信息和核相光滤波算法的车牌检测识别方法，其特征在于步骤如下：

步骤1：将中国大陆车牌数据集CCPD中每幅图像缩放到大小为512*512的图像，所有缩放后图像及其标注信息构成预训练数据集；

步骤2：分别对预训练数据集中的每幅图像进行增强处理，所有增强处理前和增强处理后的图像及其标注信息共同构成最终的训练数据集；所述的增强处理包括任意角度的翻转、任意尺寸的裁剪和任意程度的色彩变换；

步骤3：将步骤2得到的训练数据集输入车牌检测网络模型进行训练，得到训练好的车牌检测模型；所述的车牌检测网络模型抽取VggNet网络中不同尺寸的特征图进行上采样，变为同尺寸不同宽通道的特征图，再进行合并，将合并得到的特征图送入全连接层，输出置信度和车牌区域坐标(cx,cy,w,h,score)，其中，cx和cy分别为车牌区域的中心点横坐标和纵坐标，w和h为区域的长和宽，score表示置信度；

步骤4：截取步骤2得到训练数据集中每幅图像中的车牌区域，所有截取后的图像及其车牌号标注信息构成车牌识别模型的训练数据集，将此训练数据集输入到基于视觉注意力机制的字符识别网络进行训练，以训练好的网络作为最终的车牌识别模型；所述的基于视觉注意力机制的字符识别网络指由7层CNN网络、注意力模块和LSTM网络连接而成，其中，7层CNN提取有表征能力的图像特征，注意力模块联合上一层的输出和RNN隐含层的状态，做一个linear和softmax，求得注意力权重W，W乘以CNN输出的特征矩阵得到具有注意力特征的特征图并送入LSTM层，LSTM层作为解码器输出最终的文字序列；

步骤5：对待检测车牌视频数据集中的第1至F帧图像，将其输入到步骤3得到的车牌检测模型，对每幅图像分别得到其车牌区域4个顶点的坐标，根据顶点坐标裁剪原图像即得到其车牌区域图像；F的取值范围为5～30；

对于待检测车牌视频数据集中的第k帧图像，F+1≤k≤N-1，将其输入到步骤3得到的车牌检测模型，得到其车牌区域4个顶点的坐标，根据顶点坐标裁剪原图像即得到图像的车牌区域图像，然后，利用该图像和其前F帧得到的车牌区域图像采用KCF核相关滤波算法进行跟踪预测处理，将得到的预测图像作为第k+1帧图像的预测车牌区域图像；将第k+1帧图像输入到步骤3得到的车牌检测模型，得到其车牌区域4个顶点的坐标，将根据顶点坐标对第k+1帧图像进行裁剪后的图像与第k+1帧图像的预测车牌区域图像进行加权平均，得到第k+1帧图像最终的车牌区域图像；N表示数据集中包含的视频帧总数；

步骤6：将步骤5得到每一帧图像的车牌区域图像输入到步骤4得到的车牌识别模型，得到的结果作为其初始识别结果；然后，将每一帧图像的初始识别结果及其前M帧图像的初始识别结果对每个字符进行投票，如果当前帧之前不足M帧图像，则对前面所有帧进行投票，以出现次数最多的字符构成的车牌号作为该帧图像的识别结果；M的取值范围为5～20。