[发明专利]一种富格式文档的图形识别方法和系统

说明书

本发明公开了一种富格式文档的图形识别方法和系统，属于图形识别技术领域，所述方法包括：识别文档页面中图形的区域和类别；基于所述图形类别，获得图形区域中的对象，所述对象包括：形状对象、文本块和连线；根据文本块所在的位置，建立文本块与形状对象或连线的关联；根据连线的端点，找到连线的邻近对象；根据连线的类别，将相邻连线进行整合，获得整合连线；建立所述整合连线、邻近形状对象和文本块的关联，并获得结构化信息。图形类别不同，对象的形式和连接形式不同，基于图形类别的图形识别，可以有效提高识别的准确性；根据连线的类别，将连线的各个连线进行整合，获得整合连线，利于识别复杂图形中对象之间连接关系。

技术领域

本发明涉及图形识别技术领域，具体涉及一种富格式文档的图形识别方法和系统。

背景技术

随着数字化智能化等技术的发展，对各行各业中用到的图文并茂并茂的富格式文档(Rich-format)自动处理的需求越来越迫切，例如：金融相关的各类公告、分析报告中具有股权结构图和组织架构图；专利文档中，具有系统框架图和流程图；科学技术论文和报告具有大量框架图和流程图。

为了实现富格式文档信息的深度结构化，构建领域专业知识图谱，对文档中包含各式各样图(Figure)中识别和理解是其中重要的环节，其中的图形含有大量可以转化为知识图谱的并存储到数据库中的结构化信息。

目前，采用基于深度学习的图形识别方法进行图形识别，包括基于图形处理的传统方法和基于目标检测的方法。例如以下文献采用了基于图形处理的传统方法对流程图进行识别，专利搜索中非文本信息检索的流程图识别(Flowchart recognition for non-textual information retrieval in patent search,Information Retrieval,Universitat Autònoma de Barcelona)、专利图像中流程图的可视化结构分析(JOANNEUMRESEARCH Forschungsgesel Ischaft mbH,DIGITAL-Institute for Information andCommunication Technologies,Austria)、以及CLEF-IP 2012专利图纸流程图的文本综述(Textual summarisation of flowcharts in patent drawings for CLEF-IP 2012,INRIA-Humboldt Universitat zu Berlin-Institut fur Deutsche Sprache undLinguistik)。以下文献采用基于基于目标检测的方法进行图形识别：基于Faster R-CNN的在线手写图形符号检测(Symbol detection in online handwritten graphics usingFaster R-CNN,DAS-2018,University of Sao Paulo)、基于Arrow R-CNN的手写图形识别(Arrow R-CNN for handwritten diagram recognition,International Journal onDocument Analysis and Recognition(IJDAR),2021/02,SAP and University ofMannheim)、Sketch2BPMN：手绘自动识别的BPMN模型(Sketch2BPMN:AutomaticRecognition of Hand-drawn BPMN Models,33rd International Conference onAdvanced Information Systems Engineering(CAiSE 2021),SAP and University ofMannheim)、图形网络：使用视觉箭头关系检测的手绘图形识别(DiagramNet:Hand-drawnDiagram Recognition using Visual Arrow-relation Detection,ICDAR-2021,SAP andUniversity of Mannheim)。