[发明专利]一种基于CRNN的图片表格提取方法

权利要求书

1.一种基于CRNN的图片表格提取方法，其特征在于，包括以下步骤：

S1、对待检测图片做透视变换，校正图片；

S2、使用深度神经网络对校正后的图片做表格骨架提取；

S3、从表格骨架中获取单元格ROI；

S31、从步骤S2提取的表格骨架中获取检测出表格骨架的所有横线和竖线；

S32、使用cv2.bitwise_and()求得横线和竖线的交点坐标，记录所有交点的横坐标xs和纵坐标ys；

S33、根据横坐标xs和纵坐标ys求得单元格行位置listy和列位置listx；

S34、手动设置最小单元格高度min_ceil_height，过滤横噪声框，手动设置最小单元格宽度min_ceil_width，过滤列噪声框；

S35、循环遍历每一行位置listy，找到对应的横轴坐标点x_list，判断两顶点中是否存在横线，如果存在，找到这条横线的下对边横线，求得单元格高度，从而获得单元格ROI，如果两顶点间不存在横线，则不存在单元格ROI；

S4、通过OCR识别模型识别所有单元格ROI中的文本内容；

S5、将文本内容通过步骤S2中的表格骨架排版还原到表格，从而将图片表格转换为数据表格，完成图片表格的提取。

2.根据权利要求1所述的一种基于CRNN的图片表格提取方法，其特征在于，在步骤S1中，图片校正的具体步骤如下：

S11、使用cv2.findContours()检测出待检测图片表格单元格轮廓并取最大表格轮廓，即四个顶点坐标；

S12、通过检测参照图片和待检测图片的顶点，并通过opencv-API的cv2.getPerspectiveTransform()获得变换矩阵M；

S13、通过opencv-API的cv2.warpPerspective()计算倾斜校正后的图像。

3.根据权利要求1所述的一种基于CRNN的图片表格提取方法，其特征在于，所述深度神经网络为unet网络，所述unet网络包括encoder-decoder结构和skip-connection结构。

4.根据权利要求1所述的一种基于CRNN的图片表格提取方法，其特征在于，所述OCR识别模型包括DB算法模型和CRNN识别模型，所述CRNN识别模型采用轻量级骨架网络MobileNet或者Resnet34中的一种。

5.根据权利要求4所述的一种基于CRNN的图片表格提取方法，其特征在于，所述CRNN识别模型通过采用百度paddleocr提供的CRNN开源预训练模型进行加入手写体数据二次训练获得。

6.根据权利要求1所述的一种基于CRNN的图片表格提取方法，其特征在于，在步骤S5中，图片表格转换为数字表格的具体步骤如下：

S51、在步骤S4获得的文本内容中，通过replace('\n\x0c',”)去除换行符，对同一单元格ROI内的文本内容做文本分行拼接处理，获得单元格文本text；

S52、在步骤S35中的横轴坐标点x_list和行位置listy，可知单元格ROI的位置信息；

S53、通过write_merge()方法将单元格文本text写进excel数据表格对应的单元格位置内即可。