[发明专利]关键信息抽取方法、模型训练方法、相关装置及电子设备

权利要求书

1.一种模型训练方法，包括：

获取训练数据，所述训练数据包括第二图像和第二文档中各文本单元的类别标记标签，所述第二图像包括所述第二文档的图像内容；

获取所述第二文档的第三特征，所述第三特征是基于所述第二文档的文本特征和所述第二文档的文本行的视觉特征拼接得到的；

将所述第三特征输入至第一模型进行语义增强，得到所述第二文档的第四特征；

基于所述第四特征获取所述第二文档中各文本单元的第二类别标记；

基于所述类别标记标签和所述第二类别标记，更新所述第一模型的模型参数；

所述获取训练数据之前，还包括：

获取预训练样本，所述预训练样本包括第三图像，所述第三图像包括第三文档的图像内容；

将所述预训练样本输入至所述第一模型进行特征处理，得到所述预训练样本的特征表达；

基于所述特征表达，利用预训练任务对应的监督策略确定损失值；

基于所述损失值，更新所述第一模型的模型参数；

其中，所述预训练任务包括第一任务，所述第一任务用于预测文档中任意两个不同文本行的相对方位；

其中，所述损失值包括利用所述第一任务对应的监督策略确定的第一损失值，所述基于所述特征表达，利用预训练任务对应的监督策略确定损失值，包括：

基于所述特征表达获取所述第三文档的文本行的视觉特征；

从所述第三文档的文本行的视觉特征中获取第一特征元素和第二特征元素，所述第一特征元素和所述第二特征元素为所述第三文档中两个不同文本行的特征元素；

计算所述第一特征元素和所述第二特征元素的特征差异信息；

基于所述特征差异信息进行方位预测，得到所述两个不同文本行的相对方位；

基于预测得到的所述两个不同文本行的相对方位和预先获取的所述两个不同文本行的相对方位的标签，确定所述第一损失值；

所述两个不同文本行包括第一文本行和第二文本行，所述基于所述特征差异信息进行方位预测，得到所述两个不同文本行的相对方位，包括：

以所述第二文本行的中心点为圆心，将所述圆心的圆圈区域均匀划分为连续预设数量的区域；

基于所述特征差异信息，将所述第二文本行的中心点在所述第一文本行的中心点的相对方向透射到所述连续预设数量的区域中的一个区域，得到所述两个不同文本行的相对方位。

2.根据权利要求1所述的方法，

所述预训练任务还包括第二任务、第三任务和第四任务中至少一项，所述第二任务用于预测属于同一文本行的视觉特征和文本特征，所述第三任务用于随机遮掩图像中的文本行区域，以预测被遮掩文本行区域的内容，所述第四任务用于随机遮掩图像中的文本行区域，对被遮掩文本行区域的输出特征进行重建，以恢复被遮掩文本行区域的图像像素。

3.根据权利要求2所述的方法，其中，所述损失值包括利用所述第二任务对应的监督策略确定的第二损失值，所述基于所述特征表达，利用预训练任务对应的监督策略确定损失值，包括：

针对所述第三文档中的第三文本行，将所述第三文本行的文本内容进行特征编码，得到所述第三文本行的文本特征，所述第三文本行为所述第三文档中的任一文本行；

将所述第三文本行的文本特征与所述特征表达进行点乘，以映射得到二维2d掩膜矩阵；

基于所述2d掩膜矩阵和所述第三文本行在所述第三图像的位置信息，确定所述第二损失值。

4.根据权利要求2所述的方法，其中，所述损失值包括利用所述第三任务对应的监督策略确定的第三损失值，所述基于所述特征表达，利用预训练任务对应的监督策略确定损失值，包括：

基于所述特征表达，预测被遮掩文本行区域的内容；

基于预测得到的被遮掩文本行区域的内容和预先获取的被遮掩文本行区域的内容的标签，确定所述第三损失值。