[发明专利]一种面向多方向的文字检测方法和装置

权利要求书

1.一种面向多方向的文字检测方法，其特征在于，包括以下步骤：

1)对训练样本的四边形真值框根据角度信息进行切分，形成矩形区域的条状真值框；

2)控制正负样本比例，并进行随机采样，将样本放入CTPN网络进行训练，得到文字检测网络；

3)将待检测图片和该待检测图片旋转90度的图片输入文字检测网络，该文字检测网络输出条形框以及其存在文字可能性的预测分值，对得到的条形框做非极大值抑制，并从中挑选预测分值大于设定阈值的条形框；

4)对不同角度图片中挑选出的条形框进行合并，拟合构造出四边形文字框；

其中，步骤1)所述对训练样本的四边形真值框根据角度信息进行切分，包括：对于存在竖直文字的真值框的图片进行处理，若训练图片中以竖直文字为主，将训练图片及四边形真值框水平旋转90度后，标记旋转后图片中竖直的真值框为“vertical”的部分，再进行切分处理；若训练图片中以水平、倾斜文字为主，标记竖直文字的真值框为“vertical”部分，之后再进行切分处理，从而保证训练样本的有效性；

其中，步骤2)所述控制正负样本比例，包括：对条状真值框与anchor进行IOU即重叠区域比例的计算，IOU大于一阈值的anchor选为正样本，小于一阈值的选为负样本，控制正负比例为1:1，“vertical”部分的真值框所对应的anchor框不选进训练样本中；

其中，步骤4)所述对不同角度图片中挑选出的条形框进行合并，包括：将待检测图片的原图和旋转90度后的图片一起放入网络中，分别预测出条形框后合并成四边形文字框，旋转90度后的图片以及在其上预测出的文字框逆时针旋转90度恢复为原图方向，对于这两种角度图片上预测出的四边形文字框，合在一起做四边形非极大值抑制，得到最终文字定位结果。

2.如权利要求1所述的方法，其特征在于，步骤1)求出四边形真值框上下两条边的角度，得到上下两边的直线公式，每隔anchor的宽度，根据x轴坐标，利用直线公式确定y轴坐标，得到条状真值框的坐标(x_min，y_min，x_max，y_max)，其中x_min，y_min表示真值框左上角的位置，x_max，y_max表示真值框右下角的位置。

3.如权利要求1所述的方法，其特征在于，步骤1)的训练图片中，条状真值框的水平方向上的起点和终点总是在16倍数的位置上；对切分前四边形真值框不在16倍数上的水平方向的两边，进行取舍。

4.一种面向多方向的文字检测装置，其特征在于，包括：

文字检测网络训练模块，负责对训练样本的四边形真值框根据角度信息进行切分，形成矩形区域的条状真值框；然后控制正负样本比例，并进行随机采样，将样本放入CTPN网络进行训练，得到文字检测网络；所述文字检测网络训练模块对于存在竖直文字的真值框的图片进行处理，若训练图片中以竖直文字为主，将训练图片及四边形真值框水平旋转90度后，标记旋转后图片中竖直的真值框为“vertical”的部分，再进行切分处理；若训练图片中以水平、倾斜文字为主，标记竖直文字的真值框为“vertical”部分，之后再进行切分处理，从而保证训练样本的有效性；所述控制正负样本比例，包括：对条状真值框与anchor进行IOU即重叠区域比例的计算，IOU大于一阈值的anchor选为正样本，小于一阈值的选为负样本，控制正负比例为1:1，“vertical”部分的真值框所对应的anchor框不选进训练样本中；

文字定位检测模块，负责将待检测图片和该待检测图片旋转90度的图片输入文字检测网络，该文字检测网络输出条形框以及其存在文字可能性的预测分值，对得到的条形框做非极大值抑制，并从中挑选预测分值大于设定阈值的条形框；然后对不同角度图片中挑选出的条形框进行合并，拟合构造出四边形文字框；所述文字定位检测模块将待检测图片的原图和旋转90度后的图片一起放入网络中，分别预测出条形框后合并成四边形文字框，旋转90度后的图片以及在其上预测出的文字框逆时针旋转90度恢复为原图方向，对于这两种角度图片上预测出的四边形文字框，合在一起做四边形非极大值抑制，得到最终文字定位结果。