[发明专利]图像文献结构化解析方法、系统、电子设备、存储介质

权利要求书

1.一种图像文献结构化解析方法，其特征在于，所述方法包括：

将图像文献内各页图像按顺序拼接，获得合成图；

基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；

对合成图进行版面整合，获得待解析图；

将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文档；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。

2.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文档，之后包括：

将所述解析文档中文本的长度和所述待解析图中文本的长度作比较，获得关于文本结构化的完整度；

若完整度超过预定阈值，将所述解析文档确认为所述图像文献的结构化解析后的文档。

3.根据权利要求2所述的图像文献结构化解析方法，其特征在于，所述若完整度超过预定阈值，将所述解析文档确认为所述图像文献的结构化解析后的文档，之后包括：

基于所述解析文档中的结构化标签，选中需要的若干标签，将标签对应的图像文献中的段落文本批量提取。

4.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述LX-BioLayoutLM模型的训练数据集为结构化标记的图像文献。

5.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述LX-BioLayoutLM模型中的BERT模型部分，以待解析图中的文本和文本对应的位置信息作为输入，以体现文本语义理解的文本向量和表征文本段落与图像间映射关系的位置嵌入向量作为输出。

6.根据权利要求5所述的图像文献结构化解析方法，其特征在于，所述LX-BioLayoutLM模型中的LayoutLM模型部分，以待解析图、待解析图中的文本和文本对应的位置信息作为输入，以字符级的2D位置嵌入向量和体现图像特征信息的图像嵌入向量作为输出。

7.根据权利要求6所述的图像文献结构化解析方法，其特征在于，所述LX-BioLayoutLM模型包括图像对齐层，所述图像对齐层以所述待解析图、体现文本语义理解的文本向量、表征文本段落与图像间映射关系的位置嵌入向量、字符级的2D位置嵌入向量、体现图像特征信息的图像嵌入向量作为输入，以带有结构化标签的解析文档作为输出。

8.一种图像文献结构化解析系统，其特征在于，所述系统包括：

图像合成模块，所述图像合成模块将图像文献内各页图像按顺序拼接，获得合成图；

自定义信息剔除模块，所述自定义信息剔除模块基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；

图像版面重置模块，所述图像版面重置模块对合成图进行版面整合，获得待解析图；

解析模块，所述解析模块将待解析图输入LX-BioLayoutLM模型，获得带有结构化标签的解析文档；

其中，所述LX-BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述图像文献结构化解析方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述图像文献结构化解析方法的步骤。