[发明专利]一种基于语义笔画池化的场景文字识别方法

摘要

本发明实施例公开了一种基于语义笔画池化的场景文字识别方法，该方法包括以下步骤：输入场景文字图像进行预处理，得到训练场景文字图像；对训练场景文字图像进行关键点标记，得到判别性笔画；利用判别性笔画得到笔画检测器和语义因子；利用笔画检测器和语义因子得到对应图像的语义置信向量；基于语义置信向量训练得到场景文字识别分类模型；获取测试场景文字图像的语义置信向量，输入场景文字识别分类模型得到场景文字识别结果。本发明通过笔画检测器和语义因子进行语义置信向量表示，能够将最重要的特征信息和语义信息有效的结合在语义置信向量中，达到有效挖掘显著特征信息和笔画空间信息的目的，从而提高场景文字识别的正确率。

主权项

1.一种基于语义笔画池化的场景文字识别方法，其特征在于，所述方法包括以下步骤：步骤S1，对输入场景文字图像进行预处理，得到训练场景文字图像；步骤S2，对所述训练场景文字图像分别进行关键点标记，并基于关键点得到判别性笔画Stroke_ij，其中，Stroke_ij表示第i类训练场景文字图像中的第j个判别性笔画；步骤S3，利用所有训练场景文字图像的判别性笔画，训练得到笔画检测器和相应的语义因子；步骤S4，利用笔画检测器和语义因子，得到每幅训练场景文字图像对应的语义置信向量；步骤S5，基于所述训练场景文字图像的语义置信向量，训练得到场景文字识别分类模型；步骤S6，获取测试场景文字图像的笔画检测器和语义因子，进而得到所述测试场景文字图像的语义置信向量，将其输入至所述场景文字识别分类模型得到场景文字识别结果；所述步骤S3包括以下步骤：步骤S31，利用判别性笔画Stroke_ij，训练得到笔画检测器S_ij，其中，S_ij表示第i类训练场景文字图像中的第j个笔画检测器；步骤S32，利用判别性笔画Stroke_ij，学习得到语义因子γ_ij，其中，γ_ij表示第i类训练场景文字图像中的第j个语义因子；所述步骤S31包括以下步骤：步骤S311，在第i类训练场景文字图像中任意选取一幅图像，得到包含与Stroke_ij中相同关键点的最小矩形，并将这个最小矩形延拓为得到笔画检测器S_ij的一个正样本，其中，和分别表示正样本的高度和宽度；步骤S312，在其他类别的任意两幅训练场景文字图像中选取负样本，得到与所述正样本大小和位置相同的两个负样本；步骤S313，按照所述步骤S311‑S312获取预定比例的正样本和负样本，并将所有的正样本和负样本进行归一化处理；步骤S314，将每个正样本和负样本表示成为一个HOG特征向量；步骤S315，基于所述正负样本的HOG特征向量，训练得到第i类的第j个笔画检测器S_ij，所有的笔画检测器组成笔画检测器集；所述步骤S4包括以下步骤：步骤S41，获取包含所述步骤S313中所有正样本的最小矩形区域，并将其延拓为在每幅训练场景文字图像的相同位置界定高度为宽度为的矩形，得到判别性笔画Stroke_ij的响应区域R；步骤S42，在判别性笔画Stroke_ij的响应区域内，密集抽取图像块a，其中，a∈{1，2，…，h}，h为响应区域内抽取的图像块的总数；步骤S43，将笔画检测器S_ij应用于所有的图像块，得到检测得分O_ij＝(O_ij1,O_ij2,…,O_ijh)，其中，O_ij是检测得分集，O_ijh是第h个图像块的检测得分；步骤S44，基于图像块的左上角坐标位置信息和图像块对应的判别性笔画Stroke_ij，得到所有图像块的语义因子，进而得到语义因子集γ_ij＝(γ_ij1,γ_ij2,…,γ_ijh)，其中，γ_ij是语义因子集，γ_ijh是第h个图像块的语义因子；步骤S45，基于得到的笔画检测器和语义因子，获取一幅训练场景文字图像的语义置信向量C。