[发明专利]一种基于深度学习的铭牌识别方法及系统

权利要求书

1.一种基于深度学习的铭牌识别方法，其特征是，该方法包括：

利用目标检测算法对目标图片进行识别，确定铭牌所在的区域，然后利用霍夫变换确定铭牌的边缘信息；

将铭牌的图片进行文本切分，确定每行文本的位置信息；

将切分出来的文本进行文本识别，得到识别结果；

确定铭牌所在的区域具体包括以下方法：

对目标图片进行区域划分；

针对每个小区域进行分类，判断每个小区域中是否有铭牌以及铭牌的类型；

通过YOLO神经网络的softmax函数计算每个小区域中包含铭牌的概率；

将符合概率阈值的小区域进行合并，不符合的舍弃；

最终将铭牌所在的区域划分出来；

计算每个小区域中包含铭牌的概率可通过如下公式进行计算：

式中，P(t＝C|Z)表示，在给定输入Z时，该输入数据是C分类的概率；Z代表的是输入信息，即提取的特征值；C代表类别的符号，C＝2；

通过该计算公式将每个区域进行计算，输入提取的特征值Z，得到一系列的数值，最后取概率大的作为最终分类结果。

2.根据权利要求1所述的方法，其特征是，方法还包括判断铭牌是否倾斜，具体包括：

经过深度学习缩小铭牌的范围，利用霍夫变换检测铭牌所在的区域；

对区域去噪处理后，进行边缘提取；

通过二值化判断是否为边缘点；

将区域映射到霍夫空间，取局部极大值，与预设的阈值比较，过滤干扰直线；

绘制直线、标定角点，确定铭牌的四个顶点的坐标，确定铭牌是否倾斜。

3.根据权利要求2所述的方法，其特征是，方法还包括将倾斜的图片利用仿射变换进行自动矫正，具体包括：

利用目标检测算法确认铭牌的区域，进而确定铭牌的四个顶点的位置信息；

根据四个顶点的坐标进行计算，得出投影变换的矩阵；

根据投影变换的矩阵，对图像中的每个像素点进行投影变换，得到矫正以后的图像信息。

4.根据权利要求3所述的方法，其特征是，所述对图像中的每个像素点进行投影变换具体包括：

根据四个顶点的坐标得到四个顶点构成的两条相对的线段构成平行的计算矩阵；

根据计算矩阵对图像中每一个值进行同样的计算，得到新的图像。

5.根据权利要求1所述的方法，其特征是，将铭牌的图片进行文本切分采用CTPN行文本检测算法。

6.根据权利要求1所述的方法，其特征是，将切分出来的文本进行文本识别具体包括：

将输入的文本进行归一化处理，将图像按水平方向分成33个区域，每个区域均包含中文的一部分结构；

提取各个区域的像素中的特征值，对特征信息进行降维操作；

LSTM根据各个区域的特征值关系，确定中文字。

7.根据权利要求5所述的方法，其特征是，将切分出来的文本进行文本识别还包括对归一化处理进行加速训练。

8.一种基于深度学习的铭牌识别系统，利用权利要求1-7任意一项所述的方法，其特征是，该系统包括图片初步识别子系统，用于利用目标检测算法确定铭牌的区域和利用霍夫变换确定铭牌的边缘信息；和，

图片矫正子系统，用于利用仿射变换将倾斜的图片矫正为正常的图片；和，

文本切分子系统，用于将图片中的文本切分出来；和，

文本识别子系统，用于将切分出来的文本进行文本识别。

9.根据权利要求8所述的系统，其特征是，该系统还包括加速训练子系统，用于加速训练文本识别。