[发明专利]文档图像版面分析方法、装置、计算机设备和存储介质

说明书

本发明涉及计算机视觉技术领域，提供了一种文档图像版面分析方法、装置、计算机设备和存储介质，所述方法包括：对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。采用本方法能够提高版面分析元素识别准确率和位置定位的精准度。

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种文档图像版面分析方法、装置、计算机设备和存储介质。

背景技术

文档是人们日常生活中最常见的信息载体，其以多样化的形式将文本、表格、图片等文档元素组织在一起，形象生动的向用户高效的展示信息。现有文档主要分为纸质文档和电子文档。电子文档可以借助打印设备将其转换为纸质文档；而纸质文档转换为电子文档则需要更为复杂的流程：首先需要将纸质文档扫描成文档图像，接着借助文档图像版面分析技术得到一系列文本、表格、图片等文档元素，接着借助OCR相关技术将文档元素转换为可编辑的文本、表格及矢量图等信息元素，最后将信息元素组织成电子文档。由此可见，文档图像版面分析是纸质文档转换成电子文档流程中必不可少的核心环节。

目前，学术界和工业界主流的文档图像版面分析方法是基于深度学习的策略，其相对于传统基于规则和区域分析的方法而言，分析准确率更高，泛化性更强。然而，基于深度学习的文档版面分析方法主要是直接借鉴目标检测的方法，将文档中的文本、图片、表格统统当作物体目标进行版面分析，从而忽略了文本、图片、表格之间的差异性和内部固有特性，进而导致文本版面分析元素识别不准、元素位置精准度不够等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高版面分析元素识别准确率和位置定位精准度的文档图像版面分析方法、装置、计算机设备和存储介质。

本发明提供一种文档图像版面分析方法，包括：

对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；

将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；

将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；

结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。

在其中一个实施例中，所述将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果，包括：

合并所述多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；

利用transform网络在所述多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；

融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征；

基于所述多尺寸融合特征进行类别和边框检测，得到文本检测结果。

在其中一个实施例中，所述融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：

遍历所述多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；

将所述多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。