[发明专利]基于人工智能的表格图像重构方法、装置、设备及介质

权利要求书

1.一种基于人工智能的表格图像重构方法，应用于电子设备，其特征在于，所述方法包括：

将待重构的表格图像输入预先构建的图像识别模型，得到所述表格图像中各文本框的坐标信息及文本信息，以各文本框作为节点，各文本框之间的距离作为边构建无向连通图；

分别提取所述无向连通图中各节点的位置坐标特征、文本特征、图像特征及位置编码特征，对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行融合操作，得到各节点对应的目标融合特征；

将各节点之间的距离特征作为所述无向连通图的边特征，将包含有边特征及节点目标融合特征的无向连通图，输入预先训练好的节点关系分类模型，得到所述无向连通图中各节点之间边的分类结果；

基于各节点之间边的分类结果确各节点之间的位置关系，基于各节点的位置关系将各节点对应的文本框填充至预设模板文件的对应位置，得到重构的目标表格文件。

2.如权利要求1所述的基于人工智能的表格图像重构方法，其特征在于，所述图像识别模型包括位置检测模型及文本识别模型，所述将待重构的表格图像输入预先构建的图像识别模型，得到所述表格图像中各文本框的坐标信息及文本信息，包括：

将所述表格图像输入所述位置检测模型，得到所述表格图像中各个文本框的坐标信息，基于各个文本框的坐标信息对表格图像的文本框进行切分，将切分后的文本框分别输入所述文本识别模型，得到各文本框的文本信息。

3.如权利要求1所述的基于人工智能的表格图像重构方法，其特征在于，所述提取所述无向连通图中各节点的图像特征，包括：

利用FPN算法构建特征塔，将节点对应的图像依次输入至所述特征塔的不同层级，利用所述特征塔中的映射通道将所述特征塔中各层级的图像逐层向下映射至所述特征塔底层的图像中，对映射后特征塔底层的多张映射图像进行拼接，得到该节点对应的图像特征。

4.如权利要求1所述的基于人工智能的表格图像重构方法，其特征在于，所述对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行融合操作，包括：

对各节点对应的位置坐标特征、文本特征、图像特征及位置编码特征分别通过预设模型的全连接层进行特征转换，生成四个不同尺寸的初始特征；

将四个不同尺寸的初始特征的尺寸调整至相同的尺寸，将调整后的四个初始特征进行点乘运算生成初始融合特征；

以全连接层对所述初始融合特征进行特征转换生成注意力特征，将所述注意力特征与所述初始融合特征进行点乘融合生成所述目标融合特征。

5.如权利要求1所述的基于人工智能的表格图像重构方法，其特征在于，所述对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行融合操作，包括：

分别对各节点的位置坐标特征、文本特征、图像特征及位置编码特征设定对应的权重，根据所述权重对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行加权融合，得到所述目标融合特征。

6.如权利要求1所述的基于人工智能的表格图像重构方法，其特征在于，所述节点关系分类模型的训练过程包括：

获取预设数量包含有边特征和节点融合特征的样本无向连通图，为各样本无向连通图中各节点之间的边分配预设标签，将包含有边特征和节点融合特征的样本无向连通图作为自变量、各节点之间的边的预设标签作为因变量生成样本集；

将所述样本集中每个样本输入图卷积神经网络模型，得到所述样本集中每个样本的预测分类结果；

基于所述样本集中每个样本的预设标签确定所述样本集中每个样本的真实分类结果；

通过最小化所述预测分类结果与所述真实分类结果之间的损失值确定所述节点关系分类模型的结构参数，得到训练好的节点关系分类模型。

7.如权利要求1至6中任意一项所述的基于人工智能的表格图像重构方法，其特征在于，所述基于各节点之间边的分类结果确各节点之间的位置关系，包括：

利用深度优先搜索算法确定同行关系及同列关系的第一类型节点，并确定跨行关系及跨列关系的第二类型节点，基于所述第一类型节点及第二类型节点的坐标信息，确定各节点之间的位置关系。