[发明专利]一种基于嵌入双边卷积激活的场景文字识别方法

说明书

本发明实施例公开了一种基于嵌入双边卷积激活的场景文字识别方法，该方法包括：将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；利用所选择的卷积层，得到双边卷积激活图；利用双边卷积激活图对卷积激活描述子进行编码，得到训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；获取测试场景文字图像的特征向量，输入至场景文字识别分类模型得到场景文字识别结果。本发明利用双边卷积激活图进行特征向量表示，能够将重要的特征信息和笔画结构信息有效的结合在特征向量中，达到有效挖掘显著特征信息和笔画结构信息的目的，从而有效提高了场景文字识别的正确率。

技术领域

本发明属于模式识别技术领域，具体涉及一种基于嵌入双边卷积激活的场景文字识别方法。

背景技术

场景文字识别在模式识别领域扮演着重要的角色，很多应用都需要借助场景文字识别来自动地理解场景中的文字。然而，场景文字识别仍然是一个非常具有挑战性的研究方向，因为场景文字受到很多外界因素的影响，比如：不均匀的光照、变形、任意的字体、失真、复杂的背景、模糊、噪声等等。

近几十年来，场景文字识别受到广泛的关注，一些早期的方法利用光学字符识别技术来识别场景中的文字。光学字符识别技术依赖于场景文本二值化和成熟的光学字符识别引擎。其中，场景文本二值化是非常难以实现的。考虑到光学字符识别技术的局限性，Gao等人提出在传统的BoW(Bag of Words，词包模型)的框架下创建空间嵌入词典，来获取场景文字图像的最终的特征表示。Newell等人利用多尺度的HOG(Histogram of OrientedGradients，梯度直方图)进行特征表示来识别自然场景中的文字。尽管他们的方法取得了一定的成效，但是他们的特征表示缺乏判别性。因此为了解决此问题，Perronnin等人提取使用GMM(Gaussian Mixture Model，高斯混合模型)来学习码本，并将GMM的均值向量和协方差向量的导数连接起来得到最终的FV(Fisher vectors)。与传统的BOW相比，FV对更高层次的信息进行编码，但是FV很容易在最终表示中引入噪声或者异常值。为此，Wang等人将卷积神经网络中的全连接层的输出作为最终的图像表示。Jaderberg等人同样将卷积神经网络中的全连接层的输出作为最终的图像表示，并得到较好的分类效果。Cimpoi和Babenko等人证明了使用卷积激活描述子来表示特征比使用全连接层的输出表示特征得到的分类准确率高。虽然这些方法取得了一定的成效，但是他们在一定程度上忽视了文字的重要特征信息和笔画结构信息。由于不同文字在不同的位置可能包含相同的特征信息，这会造成重构误差，所以不能够充分的保留重要的特征信息和有效的笔画结构信息。

发明内容

本发明的目的是要解决文字特征信息和笔画结构信息对场景文字识别结果影响较大的技术问题，为此，本发明提供一种基于嵌入双边卷积激活的场景文字识别方法。

为了实现所述目的，本发明嵌入双边卷积激活的场景文字识别方法包括以下步骤：

步骤S1，将训练场景文字图像输入至预先训练得到的卷积神经网络中，得到卷积激活描述子；

步骤S2，利用所述训练场景文字图像输入至卷积神经网络中输出得到的卷积层，得到双边卷积激活图；

步骤S3，利用所述双边卷积激活图对所述卷积激活描述子进行编码，得到所述训练场景文字图像的特征向量；

步骤S4，基于所述训练场景文字图像的特征向量，利用线性支持向量机进行训练，得到场景文字识别分类模型；

步骤S5，按照所述步骤S1-S3获取测试场景文字图像的特征向量，输入至所述场景文字识别分类模型得到场景文字识别结果。

可选地，所述步骤S1包括：

步骤S11，将所述训练场景文字图像的大小归一化为H×W，其中，H和W分别表示训练场景文字图像的高度和宽度；