[发明专利]基于文本显著性的场景文本检测方法

摘要

本发明公开了一种基于文本显著性的场景文本检测方法，该方法包括如下步骤：初始文本显著性检测、文本显著性细化和文本显著性区域分类。在初始文本显著性检测阶段，设计了用于文本显著性检测的CNN模型，该模型能从图像中自动学习能够表征文本内在属性的特征并得到对文本有意识的显著性图。在文本显著性细化阶段，设计了文本显著性细化CNN模型用来对粗糙的文本显著性区域进行进一步文本显著性检测。在文本显著性区域分类阶段，使用文本显著性区域分类CNN模型过滤非文本区域，并得到最终的文本检测结果。本发明通过在场景文本检测过程中引入显著性检测，能有效地检测场景中的文本区域，提高场景文本检测方法的性能。

主权项

1.一种基于文本显著性的场景文本检测方法，其特征在于所述检测方法步骤如下：一、初始文本显著性检测(1)构建初始文本显著性检测CNN模型，所述初始文本显著性检测CNN模型是在VGGNet‑16的基础上进行改进得到，只保留VGGNet‑16中的前五个模块，并分别为每个模块引入一个侧输出模块用于监督学习，前两个模块使用文本边缘作为监督信号，后三个模块使用文本区域作为监督信号，最后将后三个侧输出模块的输出进行融合并使用文本区域作为监督信号进行学习；(2)对于给定的图像，使用初始文本显著性检测CNN模型得到其对应的文本显著性图；(3)采用大津法对显著性图进行二值化后，得到二值图像；(4)对于二值图像中的每一个连通体，计算其最小外接矩形；(5)根据每一个最小外接矩形，从原始图像中裁剪得到一个图像块，并将其作为候选文本区域图像，该图像将是文本显著性细化CNN模型的输入；二、文本显著性细化(1)构建文本显著性细化CNN模型，所述文本显著性细化CNN模型是在去卷积网络模型的基础上进行改进得到，包含十个模块，前五个模块记为ENblock，和VGGNet模型中的前五个模块一样，后五个模块记为DEblock，作为前五个模块的逆过程，每个DEblock由去卷积层或卷积层组成，每个DEblock模块中最后一个卷积层的输出与对称的ENblock中第一个卷积层的输出沿通道方向进行拼接，并将拼接后的特征图作为下一个DEblock模块的输入，最后一个拼接后特征图则作为一个卷积层的输入；(2)将候选文本区域图像作为文本显著性细化CNN模型的输入，得到与其对应的文本显著性图；(3)使用大津法对得到的文本显著性图进行二值化后，得到文本显著性区域，即最终的候选文本区域；三、文本显著性区域分类(1)构建文本显著性区域分类CNN模型，所述文本显著性区域分类CNN模型是在VGGNet‑16的基础上进行改进得到，只保留VGGNet‑16中的前三个模块，在第三个模块后面增加一个全局平均池化层来提取固定长度的特征，最后使用softmax层来对特征进行分类；(2)对于每一个候选文本区域，从左右两个方向搜索与其相邻的候选文本区域；(3)假设当前候选文本区域的最小外接矩形的大小为w×h，w和h分别为当前候选文本区域的最小外接矩形的长和宽，其中心点的坐标为(x,y)，坐标系的原点在图像的左上角；如果在区域(x‑1.5h‑0.5w,y‑0.5h,x+1.5h+0.5w,y+0.5h)范围内，包含了其他候选文本区域且这些区域的高度h′满足0.5h≤h′≤1.5h，将其与当前候选文本区域进行合并得到扩大的候选文本区域；(4)对于每一个扩大的候选文本区域，计算其最小外接矩形；(5)根据每一个最小外接矩形，从原始图像中裁剪得到一个图像块，并将其作为扩大的候选文本区域对应的候选文本区域图像，该图像将是文本显著性区域分类CNN模型的输入；(6)使用文本显著性区域分类CNN模型过滤掉非文本区域；(7)根据剩下的文本区域的高度和垂直位置，将其聚类成文本行；(8)根据同一行中的相邻文本区域之间的距离，将文本行分割成单词区域，即得到最终的文本检测结果。