[发明专利]基于深度学习的OCR识别方法

权利要求书

1.一种基于深度学习的OCR识别方法，其特征在于，包括以下步骤：

步骤一，使用Mask_RCNN模型完成对牙模的实例分割和姿态矫正；

步骤二，使用 PPYOLOv2 对文本区域进行检测，裁剪图片；

步骤三， 再次使用 PPYOLOv2 对单个字符进行二次检测，切割图片，将每个字符切割成一个图片；

步骤四，使用 ResNet101 对字符图片进行分类，得到图像分类结果；

步骤五，组合分类结果，得到OCR识别结果。

2.如权利要求1所述基于深度学习的OCR识别方法，其特征在于，所述步骤一具体为利用实例分割对牙模进行初步检测，采集图像数据训练生成推理库，使用推离库对待检测图像进行推理，获取牙模在图像中的具体位置，检测算法采用经此训练形成的Mask_RCNN实例分割模型；对检测的牙模图像姿态矫正利Mask_RCNN实例分割模型检测底边方式矫正。

3.如权利要求1所述基于深度学习的OCR识别方法，其特征在于，所述步骤二具体为对单个牙模上文字区域检测使用PPYOLOv2算法，算法主要包含三部分：

S1、Backbone骨架网络，采用ResNet50-vd-dcn作为骨架网络，ResNet50-vd-dcn是将ResNet中的一些卷积替换了为可变形卷积Deformable Convolution Network所形成的网络；

具体的，可变形卷积操作和池化操作都是2维的，都是在同一channel上进行的，常规的卷积操作分为两部分：（1）、在输入的feature map上使用规则网格R进行采样；（2）、进行加权运算，R定义了感受野的大小和扩张，

在可变形网络的操作中，采样的位置变成了不规则位置，所以在常规的规则网格R通过增加一个偏移量进行扩张，对于在输出的feature map上的每个位置P0，通过下列式子进行计算：

，其中，Pn是对R中所列位置的枚举，△Pn表示偏移量，w是每个位置的权重；

现在，采样的位置变成了不规则位置，由于偏移量△Pn通常是小数，因此通过双线性插值法进行实现，公式为：

，

其中，x(q)表示插值点四个相邻的点，G(q,p)表示四个相邻的点对应的权重，x(p)表示插值结果；

S2、Detection Neck过渡检测，采用FPNfeature pyramid networks来组成自底向上的路径Path，用于构建所有尺度的特征金字塔Feature Pyramid；

S3、Detection Head头部网络检测，使用待检测框分割特征金字塔中的图像，待检测框图像用于分类和定位。

4.如权利要求3所述基于深度学习的OCR识别方法，其特征在于，所述步骤三具体为步骤二中的剪裁图片包含有多个字符，再次使用PPYOLOv2算法，进行二次检测，根据检测结果，分割出单个字符图像。

5.如权利要求4所述基于深度学习的OCR识别方法，其特征在于，所述步骤四具体为ResNet101网络结构分成5部分，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x；conv1是7x7x64conv的卷积核计算，conv2_x，conv3_x，conv4_x，conv5_x是使用ottleneckDesign一种卷积结构进行特征提取，ottleneck Design计算复杂度低，对于BottleneckDesign的ResNet用于更深的101网络中，目的是减少计算和参数量；最终对conv5_x计算结果，加上一个average pooling平均池化，得到2048维特征，分别用于分类和框回归；

对步骤三中每个单个字符图像进行分类，获得图像分类结果，图像分类结果对应的是单个字符图像中包含的文字。

6.如权利要求5所述基于深度学习的OCR识别方法，其特征在于，所述步骤五具体为根据步骤四中的图像分类结果，以及单个字符图像在步骤三切割图片时的顺序，排序组合后即是牙模图像的OCR识别结果。