[发明专利]训练文字行方向预测模型的方法、装置、设备、介质

权利要求书

1.一种训练文字行方向预测模型的方法，其特征在于，所述方法包括：

获得样本图像集，所述样本图像集中的每张样本图像携带预先标记的坐标信息和旋转角度信息，该坐标信息表征该样本图像中的文字行的坐标，该旋转角度信息表征该样本图像中的文字行的旋转角度；其中，所述文字行的坐标为文字行四个角的坐标；所述文字行中的每一个文字的中心点连成的线段与该样本图像的横边之间的夹角为所述文字行的旋转角度；

在文字行检测模型中的最后一层卷积层后添加1×1的卷积层，得到改进后的文字行检测模型；所述1×1的卷积层用于独立预测文字行方向；所述文字行检测模型是以Mobilenet＿v2深度神经网络作为主干网络构建的PixelLink网络模型；在文字行检测模型中的最后一层卷积层后添加1×1的卷积层，包括：在所述Mobilenet＿v2深度神经网络的最后一层输出的融合特征图上添加1×1的卷积层；所述1×1的卷积层用于输出文字行方向预测、text/no text二分类预测和像素点八个方向像素连接预测；

将所述样本图像集输入到所述改进后的文字行检测模型中，得到文字行方向预测模型；

所述方法还包括：

将待识别图像输入所述文字行方向预测模型，输出所述待识别图像中的文字行的坐标信息和旋转角度信息，该坐标信息表征该待识别图像中的文字行的坐标，该旋转角度信息表征该待识别图像中的文字行的旋转角度；其中，所述旋转角度信息用于对所述文字行所在区域图像进行旋转，以使所述文字行摆正。

2.根据权利要求1所述的方法，其特征在于，所述获得样本图像集的步骤包括：

对所述样本图像集中每一张携带坐标信息的样本图像随机选择四个方向中的任意一个方向进行旋转，并根据旋转方向标记该样本图像携带的旋转角度信息；其中，所述四个方向包括：0°、90°、180°以及270°。

3.根据权利要求1所述的方法，其特征在于，在将所述样本图像集输入到所述改进后的文字行检测模型中之前，还包括：

对所述样本图像集中每一张样本图像，随机选择-45°到45°之间的一个角度进行旋转，并对旋转后的样本图像进行数据增强；

将所述样本图像集输入到所述改进后的文字行检测模型，包括：

将数据增强后的样本图像所组成的样本图像集输入到所述改进后的文字行检测模型。

4.一种训练文字行方向预测模型的装置，其特征在于，所述装置包括：

获取模块，用于获得样本图像集，所述样本图像集中的每张样本图像携带预先标记的坐标信息和旋转角度信息，该坐标信息表征该样本图像中的文字行的坐标，该旋转角度信息表征该样本图像中的文字行的旋转角度；其中，所述文字行的坐标为文字行四个角的坐标；所述文字行中的每一个文字的中心点连成的线段与该样本图像的横边之间的夹角为所述文字行的旋转角度；

改进模块，用于在文字行检测模型中的最后一层卷积层后添加1×1的卷积层，得到改进后的文字行检测模型；所述1×1的卷积层用于独立预测文字行方向；所述文字行检测模型是以Mobilenet＿v2深度神经网络作为主干网络构建的PixelLink网络模型；所述改进模块具体用于在所述Mobilenet＿v2深度神经网络的最后一层输出的融合特征图上添加1×1的卷积层；所述1×1的卷积层用于输出文字行方向预测、text/no text二分类预测和像素点八个方向像素连接预测；

训练模块，用于将所述样本图像集输入到所述改进后的文字行检测模型中，得到文字行方向预测模型；

所述装置还包括：

输出模块，用于将待识别图像输入所述文字行方向预测模型，输出所述待识别图像中的文字行的坐标信息和旋转角度信息，该坐标信息表征该待识别图像中的文字行的坐标，该旋转角度信息表征该待识别图像中的文字行的旋转角度；其中，所述旋转角度信息用于对所述文字行所在区域图像进行旋转，以使所述文字行摆正。

5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3中任一项所述的一种训练文字行方向预测模型的方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的一种训练文字行方向预测模型的方法的步骤。