[发明专利]图像文献结构化解析方法、系统、电子设备、存储介质

说明书

本发明提供一种图像文献结构化解析方法、系统、电子设备、存储介质，所述方法包括：将图像文献内各页图像按顺序拼接，获得合成图；基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；对合成图进行版面整合，获得待解析图；将待解析图输入LX‑BioLayoutLM模型，获得带有结构化标签的解析文档；其中，所述LX‑BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。本发明实现批量地对图像文献进行结构化解析，便于对复杂场景下的文献数据进行结构化提取。

技术领域

本发明涉及文献处理技术领域，尤其涉及一种图像文献结构化解析方法、系统、电子设备、存储介质。

背景技术

对于图像文本内容的提取解析在很多实际生产场景中有着广泛的需求，随着基于人工智能的计算机视觉(Computer Vision)任务的相关算法技术蓬勃发展，利用AI技术进行图像文本内容解析是一个十分具有价值和意义的方向。

在图像文献中通常包含标题、关键词、摘要、正文、图表、参考文献等几部分信息，如何在解析图像文献过程中，对文献的各部分信息进行精准识别提取即图像文献页面布局分析是一个十分重要的研究课题。

目前，对图像文献进行文本解析可以有多种不同的方式，比如可以通过使用Python语言的内置工具包，直接对图像文献中的文本进行解析输出，但这种解析方式只是将图像中的文本进行读取，无法实现对每段文本进行按类别属性进行分类识别且这类方法只能针对文本内容，无法解决图表等非文本内容；还有的是通过采用一些图像解析工具，通过上传图像文件进行图像的拆分与内容识别，这种方式往往只是针对特定类型的图像有效，且同样无法实现图像内容的结构化输出。

因此，如何将图像文献中的内容以某种固定的规则进行结构化的提取成为了一个值得探究的方案。

发明内容

针对现有技术存在的问题，本发明提供一种图像文献结构化解析方法、系统、电子设备、存储介质。

本发明提供的一种图像文献结构化解析方法，所述方法包括：

将图像文献内各页图像按顺序拼接，获得合成图；

基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；

对合成图进行版面整合，获得待解析图；

将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文档；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。

根据本发明提供的一种图像文献结构化解析方法，所述将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文档，之后包括：

将解析文档中文本的长度和待解析图中文本的长度作比较，获得关于文本结构化的完整度；

若完整度超过预定阈值，将解析文档确认为图像文献的结构化解析后的文档。

根据本发明提供的一种图像文献结构化解析方法，所述若完整度超过预定阈值，将解析文档确认为图像文献的结构化解析后的文档，之后包括：

基于解析文档中的结构化标签，选中需要的若干标签，将标签对应的图像文献中的段落文本批量提取。

根据本发明提供的一种图像文献结构化解析方法，所述LX-BioLayoutLM模型的训练数据集为结构化标记的图像文献。

根据本发明提供的一种图像文献结构化解析方法，所述LX-BioLayoutLM模型中的BERT模型部分，以待解析图中的文本和文本对应的位置信息作为输入，以体现文本语义理解的文本向量和表征文本段落与图像间映射关系的位置嵌入向量作为输出。