[发明专利]关键信息抽取方法、模型训练方法、相关装置及电子设备

说明书

本公开提供了一种关键信息抽取方法、模型训练方法、相关装置及电子设备，涉及人工智能技术领域，具体涉及深度学习、图像处理、计算机视觉技术领域。具体实现方案为：获取第一图像中第一文档的第一特征，所述第一特征是基于所述第一文档的文本特征和所述第一文档的文本行的视觉特征拼接得到的；对所述第一特征进行语义增强，得到所述第一文档的第二特征；基于所述第二特征对所述第一文档进行关键信息抽取。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，具体涉及一种关键信息抽取方法、模型训练方法、相关装置及电子设备。

背景技术

文档关键信息抽取是指对文档中的文本内容进行语义理解，对文本中指定的关键片段进行识别和抽取，主要包括对命名实体(Named Entity)的识别，例如姓名、日期、地址等，和一些需求的特定数据，例如金额、编号等指定的关键数据类型的识别和抽取。

关键信息抽取可以使用基于文本命名实体的识别模型来解决，基于模型方式，对文本序列进行字符分类，从而抽取出关键实体信息。

发明内容

本公开提供了一种关键信息抽取方法、模型训练方法、相关装置及电子设备。

根据本公开的第一方面，提供了一种关键信息抽取方法，包括：

获取第一图像中第一文档的第一特征，所述第一特征是基于所述第一文档的文本特征和所述第一文档的文本行的视觉特征拼接得到的；

对所述第一特征进行语义增强，得到所述第一文档的第二特征；

基于所述第二特征对所述第一文档进行关键信息抽取。

根据本公开的第二方面，提供了一种模型训练方法，包括：

获取训练数据，所述训练数据包括第二图像和第二文档中各文本单元的类别标记标签，所述第二图像包括所述第二文档的图像内容；

获取所述第二文档的第三特征，所述第三特征是基于所述第二文档的文本特征和所述第二文档的文本行的视觉特征拼接得到的；

将所述第三特征输入至第一模型进行语义增强，得到所述第二文档的第四特征；

基于所述第四特征获取所述第二文档中各文本单元的第二类别标记；

基于所述类别标记标签和所述第二类别标记，更新所述第一模型的模型参数。

根据本公开的第三方面，提供了一种关键信息抽取装置，包括：

第一获取模块，用于获取第一图像中第一文档的第一特征，所述第一特征是基于所述第一文档的文本特征和所述第一文档的文本行的视觉特征拼接得到的；

第一语义增强模块，用于对所述第一特征进行语义增强，得到所述第一文档的第二特征；

抽取模块，用于基于所述第二特征对所述第一文档进行关键信息抽取。

根据本公开的第四方面，提供了一种关模型训练装置，包括：

第二获取模块，用于获取训练数据，所述训练数据包括第二图像和第二文档中各文本单元的类别标记标签，所述第二图像包括所述第二文档的图像内容；

第三获取模块，用于获取所述第二文档的第三特征，所述第三特征是基于所述第二文档的文本特征和所述第二文档的文本行的视觉特征拼接得到的；

第二语义增强模块，用于将所述第三特征输入至第一模型进行语义增强，得到所述第二文档的第四特征；

第四获取模块，用于基于所述第四特征获取所述第二文档中各文本单元的第二类别标记；

第一更新模块，用于基于所述类别标记标签和所述第二类别标记，更新所述第一模型的模型参数。