[发明专利]一种文档图像中键值对信息的抽取方法、装置及系统

摘要

本发明公开了一种文档图像中键值对信息的抽取方法、装置及系统，涉及计算机视觉领域。该方法包括：针对输入信息进行编码，输出图像+内容+坐标拼接特征向量和最终实体类型名称特征向量；以每个文字为节点，聚合相邻节点的图像+内容+坐标拼接特征向量，得到每个文字的文字特征向量；基于每个文字的文字特征向量，按照实体类型对各文本块进行分类，基于最终实体类型名称特征向量和每个文字的文字特征向量，通过问答系统输出由所有实体类型和其所对应的文本块构成的键值对。该方法把多个任务融合到一个模型中，使用transformer等神经网络结构构建模型，做到端到端的训练和预测，最终输出文档中所有键值对信息。