[发明专利]字符识别方法及装置

说明书

技术领域

本公开涉及图像处理技术领域，尤其涉及字符识别方法及装置。

背景技术

字符识别是计算机视觉中的一个重要领域，字符识别过程一般包括两个步骤：字符检测和字符识别。其中，字符检测就是检测出图像中出现字符的区域，常用的方法有基于滑动窗口的方法和基于连通域的方法。字符识别就是对检测到字符的区域进行识别，得到对应的字符。

发明内容

本公开实施例提供一种字符识别方法及装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种字符识别方法，包括：

通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；

将所述特征图矩阵进行切分，得到一行特征序列；

通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。

在一个实施例中，所述方法还包括：

对所述待识别字符区域图像进行校正，得到字符整齐的校正图像；

所述通过第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵，包括：

通过所述第一卷积神经网络对所述校正图像进行特征提取，得到特征图矩阵。

在一个实施例中，所述对所述待识别字符区域图像进行校正，得到字符整齐的校正图像，包括：

将所述待识别字符区域图像的长度和高度进行同比例缩放，得到缩放图像，其中，所述缩放图像的高度为预设高度；

通过第二卷积神经网络对所述缩放图像进行字符关键点定位，得到关键点；

根据所述关键点和预设位置点的对应关系，确定对应的薄板样条函数TPS；

根据所述薄板样条函数TPS对所述缩放图像进行TPS变换，得到所述校正图像。

在一个实施例中，所述循环神经网络包括第一长短时记忆LSTM网络和第二LSTM网络，所述通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符，包括：

使用第一LSTM网络对所述特征序列进行编码，得到编码后的特征序列；

使用第二LSTM网络对所述编码后的特征序列进行解码，得到所述待识别字符区域图像中的字符。

在一个实施例中，所述方法还包括：

获取训练用的样本，所述样本包括字符所在区域的图像；

使用所述样本对总网络进行端到端训练，得到训练好的总网络，所述训练好的总网络包括所述第一卷积神经网络和所述循环神经网络。

根据本公开实施例的第二方面，提供一种字符识别装置，包括：

提取模块，用于使用第一卷积神经网络对待识别字符区域图像进行特征提取，得到特征图矩阵；

切分模块，用于将所述特征图矩阵进行切分，得到一行特征序列；

识别模块，用于通过循环神经网络对所述一行特征序列进行识别，得到所述待识别字符区域图像中的字符。

在一个实施例中，所述装置还包括：

校正模块，用于对所述待识别字符区域图像进行校正，得到字符整齐的校正图像；

所述提取模块包括：

提取子模块，用于通过所述第一卷积神经网络对所述校正图像进行特征提取，得到特征图矩阵。

在一个实施例中，所述校正模块包括：

缩放子模块，用于将所述待识别字符区域图像的长度和高度进行同比例缩放，得到缩放图像，其中，所述缩放图像的高度为预设高度；

定位子模块，用于通过第二卷积神经网络对所述缩放图像进行字符关键点定位，得到关键点；

确定子模块，用于根据所述关键点和预设位置点的对应关系，确定对应的薄板样条函数TPS；

变换子模块，用于根据所述薄板样条函数TPS对所述缩放图像进行TPS变换，得到所述校正图像。

在一个实施例中，所述循环神经网络包括第一长短时记忆LSTM网络和第二LSTM网络，所述识别模块包括：

编码子模块，用于使用第一LSTM网络对所述特征序列进行编码，得到编码后的特征序列；

解码子模块，用于使用第二LSTM网络对所述编码后的特征序列进行解码，得到所述待识别字符区域图像中的字符。

在一个实施例中，所述装置还包括：

获取模块，用于获取训练用的样本，所述样本包括字符所在区域的图像；

训练模块，用于使用所述样本对总网络进行端到端训练，得到训练好的总网络，所述训练好的总网络包括所述第一卷积神经网络和所述循环神经网络。

根据本公开实施例的第三方面，提供一种字符识别装置，包括：