[发明专利]一种零售终端文字识别方法及系统

说明书

本发明公开了一种零售终端文字识别方法及系统，首先获取待识别的零售终端店招图片和许可证图片，对获取的图片进行文字检测，输出包含多个待识别文字字符的文字区域图像，作为目标检测图像；构建基于语义关联的文字识别模型并进行训练，将目标检测图像输入训练好的文字识别模型中进行识别，输出识别结果。本发明提供的基于视觉语义关联的文字识别模型，对于图像质量差、字体风格多样的场景有着更高的准确率和更好的性能，应用于卷烟零售终端店招和专卖零售许可证文字识别场景，解决了卷烟零售终端实际场景中文字识别准确率低、人工审核工作量大的问题。

技术领域

本发明涉及文字识别技术领域，具体涉及一种零售终端文字识别方法及系统。

背景技术

随着互联网技术的发展以及具备拍照功能的移动终端的普及，各种终端所拍摄到自然场景的图片往往包含一定的语义信息，因此自动检测和识别图片中的文字信息具有很广泛的应用场景，例如店招识别，车牌识别，单据阅读器等。光学字符识别OCR(opticalcharacter recognition)，场景文字识别STR(scene text recognition)技术，即从图像中检测与识别文字信息已成为计算机视觉、文档分析等领域的热点研究方向，得到了来自学术界与工业界的强烈关注。

在烟草行业，零售终端店招名称以及烟草专卖零售许可证的文字信息是店铺信息采集的重要内容。终端店招文字识别系统以及终端许可证文字识别系统均属于文字识别系统，其主要由文字检测和文字识别两个基本部分组成。文字检测技术用于定位富含文字的图片中的文本区域，而文字识别是将检测结果区域中的文字进行提取，转化为语言信息，机器可读的文字序列。该问题的难点在于其输出结果是不固定长度的序列。而在一般的图像识别分类问题中，输出空间的维度是固定的，不定长的识别问题需要在精确识别的同时建立序列上下文之间的关系。

零售终端店招文字识别以及终端许可证识别分别属于场景文本及文档文本，如图1所示。终端店招文字处于真实的复杂场景之中，具有目标尺度变化大，字体种类、风格多样，背景较为复杂的主要特点。而许可证文字处于纸质文档之中，此类图片有图像质量较低，文字不清晰，尺度小，文字密度较大的特点。

传统的信息采集方式多以人工为主，耗时费力，并且容易出现差错，现有的OCR技术也无法解决此复杂场景下的文字识别问题。

发明内容

因此，本发明实施例提供的一种零售终端文字识别方法及系统，克服现有技术对复杂场景的文字识别结果效率低及准确性差的问题。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种零售终端文字识别方法，包括：

获取待识别的零售终端店招图片和许可证图片，对获取的图片进行文字检测，输出包含多个待识别文字字符的文字区域图像，作为目标检测图像；

构建基于语义关联的文字识别模型并进行训练，所述文字识别模型包括依次连接的主干网络、并行注意力对齐模块、全局语义关联模块以及视觉-语义跨模态融合模块；所述主干网络用于提取目标检测图像的通用视觉特征，并行注意力对齐模块用于解码通用视觉特征中的所有字符，得到解码后的视觉识别特征，全局语义关联模块用于对得到的视觉识别特征利用语义上下建模，得到相应的语义特征，视觉-语义跨模态融合模块用于将视觉识别特征以及语义特征进行融合，得到视觉语义融合特征；

将目标检测图像输入训练好的文字识别模型中进行识别，输出识别结果。

在一实施例中，所述主干网络包括卷积神经网络和连接于卷积神经网络之后的空间自注意力模块，其中：

卷积神经网络，用于提取目标检测图像的通用特征；

空间自注意力模块，用于挖掘特征之间的关联，最终得到目标检测图像的通用视觉特征G：