[发明专利]基于字符监督信息的弱监督文本检测方法

说明书

本发明公开了一种基于字符监督信息的弱监督文本检测方法，涉及文本检测领域，尤其是一种基于字符监督信息的弱监督文本检测方法，其包括：骨干网络进行特征提取；对提取的特征进行上采样；生成字符级的标注；输出字符区域概率图以及文本中心线；得到响应值高的连通区域，再将该区域外扩得到完整的字符边界；遍历文本中心线，将每个文本区域内的所有点连接并做平滑处理后得到最终的检测区域。本发明能够应用于多种场景下的文本检测问题，借助于字符检测结果，能够精确的定位每一个字符的所在位置，从而获取较高的检测精度。弱监督的学习方式，使得整个网络不断地迭代，最终达到较好的收敛效果。

技术领域

本发明属于文本检测领域，尤其是一种基于字符监督信息的弱监督文本检测方法。

背景技术

文本检测做为OCR技术中的一个关键步骤，一直以来都吸引了研究人员的广泛关注。文本检测的目的是精确的定位出图片中文字的位置，检测出具体的坐标信息以供后续识别模型进行识别。目前在自动驾驶、图片检索领域均有着大量的应用。传统的文本检测技术主要针对印刷体，利用扫描设备将光学文件转换成图像文件，再转换为字符点阵格式，后续处理算法再进一步编辑处理。然而随着时代的发展，目前的处理对象逐渐演变为自然场景下的文本检测，环境更加复杂，字体也更加多变。针对这类真实场景，之前的方法存在很大的局限性。

针对自然场景下的文本检测问题，现有的检测技术主要是利用回归或分割的方法，以单词为基本单元，直接得到整个单词的区域。这些方法能够很好的处理间隔较小的文本，然而很多实际应用场景的单词中每个字符之间的间距比较大，以单词为基础进行处理时，很难得到完整的文本边界信息，从而影响整体的检测效果。本专利主要解决复杂场景下的文本检测问题。

发明内容

本发明提供了一种基于字符监督信息的弱监督文本检测方法，用于解决现有技术中自然场景下的复杂背景、多变字体的检测问题。

本发明采用如下技术方案：

本发明的技术方案主要由两部分组成：第一部分是以字符为学习目标并提取单词中心线特征的过程，第二部分是基于单个字符以及单词中心线的后处理合并成完整单词的过程。在第一部分中，我们采用增加了空洞卷积层的ResNet34进行特征提取，再利用反向的U形结构进行语义信息增强，得到每个字符区域的特征图以及单词中心线的特征图，考虑绝大多数数据集没有字符级别的标注，我们还引入了一种弱监督方式，在训练的过程中通过迭代的方式不断生成字符信息，同时加入了置信度设置标识弱监督生成结果的好坏。第二部分中，先利用字符特征图还原出完整字符，再利用单词中心线将属于同一单词的字符相连接，最后对边界做平滑处理，得到最终的文本区域。

一种基于字符监督信息的弱监督文本检测方法，包括如下步骤：

S100：骨干网络进行特征提取；

S200：通过上采样网络对提取的特征进行上采样；

S300：对获得的采样数据通过弱监督的方式，利用分水岭算法生成字符级的标注；

S400：经过上采样网络融合的特征经过四层卷积层后输出字符区域概率图以及文本中心线；

S500：得到字符概率图后先利用opencv得到响应值高的连通区域，再利用Vatti算法将该区域外扩得到完整的字符边界；

S600：遍历文本中心线，中心线穿过的字符即作为同一个文本处理，每个字符边界分别取左上、右上、右下、左下四个点，最后将每个文本区域内的所有点进行排序连接并做平滑处理后得到最终的检测区域。

进一步地，所述骨干网络为ResNet34网络。

进一步地，三层卷积层作为一个block嵌入并替换了ResNet34网络的第三个layer，每个卷积层使用空洞卷积核替换标准卷积，空洞率分别设置为1、2以及3。