[发明专利]一种面向多方向的文字检测方法和装置

说明书

本发明涉及一种面向多方向的文字检测方法和装置。在训练方面，在不改变网络结构的基础上，对四边形真值框进行切分，把四边形真值框变为多个矩形区域的条状真值框，满足CTPN的输入，控制一个训练的最小批量正负样本比例，保证正负样本平衡，再放入CTPN网络进行训练；在测试方面，同时对原图和旋转90度之后的图片放入测试网络，对网络预测出来的条状矩形区域进行拟合形成四边形候选框，对旋转90度的测试图片的检测结果进行逆时针旋转90度恢复为原图的坐标位置；最后对两图的检测结果综合做非极大值抑制等筛选，实现准确的多方向文字定位。本发明能够适应多方向，包括水平、倾斜、竖直等方向的文字，并且有着较高的精度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种适应多方向的文字检测方法和装置，能够准确定位自然场景下的水平、倾斜以及竖直文字。

背景技术

自然场景下的文字无处不在，例如交通指示牌，商店的广告牌，海报等等，有人工痕迹的地方，基本都有文字存在。识别自然场景下的文字是人工智能进程中的一个重要发展部分。图像中的文字识别(Text Spotting)一般分为两个步骤，首先文字检测定位出图像中文字的位置，然后对定位出来的文字采用识别技术得到文字的信息内容。其中，文字检测从图片背景中定位出准确文字区域，在整个文字识别流程中占有重要地位。

自然场景下的文字出现情况非常复杂。首先，背景复杂很多，它不是文档图像的纯色背景，自然场景中的图像充满着各种对于文字的干扰，比如，电线，窗户等人工痕迹的存在使文字很难从背景中提取出。其次，自然场景中的文字的字体，颜色，布局等有很大的多变性，这增大了我们定位的困难。另外，由于拍摄角度问题，导致在图片中的自然场景下的文字存在倾斜角度，这跟普通的物体检测不一样，又一次提高了检测的难度。因此，自然场景中的文字检测是一个极具挑战的任务。

随着神经网络深度学习的发展，目前自然场景文字检测方法大多都利用深度学习来实现。总体来看，2006年后的自然场景文字检测方法可以归为三类。第一类是基于像素分割的文字检测方法。Zhang(Zhang,Zheng,et al.Multi-oriented Text Detection withFully Convolutional Networks.Computer Vision and Pattern RecognitionIEEE,2016:4159-4167.)等人首先利用FCN(Fully Connected Network)从图片中分割出相应的文字区域，再利用最大稳定极值区域方法(MSER)提取候选字符区域，利用候选字符区域估计整个文本行的方向，最后构造文本行。第二类是基于候选框(物体检测)的方法，比较典型的有TextBoxes(Liao,Minghui,et al.TextBoxes:A Fast Text Detector with aSingle Deep Neural Network.(2016).)和CTPN(Tian,Zhi,et al.Detecting Text inNatural Image with Connectionist Text Proposal Network.European Conferenceon Computer Vision Springer,Cham,2016:56-72.)，它们分别沿袭常用的物体检测方法SSD(Liu,Wei,et al.SSD:Single Shot MultiBox Detector.(2015):21-37.)和FasterR-CNN(Ren,S.,et al.Faster R-CNN:Towards Real-Time Object Detection withRegion Proposal Networks.IEEE Transactions on Pattern AnalysisMachineIntelligence 39.6(2017):1137-1149.)的候选框的方法，根据文本的特征改进，最终达到检测出文字的目的。第三类是混合方法，EAST(Zhou,Xinyu,et al.EAST:An Efficientand Accurate Scene Text Detector.(2017).)多任务学习的方法，一方面在图片中分割出文字区域，另一方面预测出文本的几何形状。