[发明专利]基于人工智能的表格图像重构方法、装置、设备及介质

说明书

本发明涉及人工智能技术领域，提供了一种基于人工智能的表格图像重构方法、装置、设备及存储介质。所述方法包括：识别待重构的表格图像中各文本框的坐标信息及文本信息并构建无向连通图；提取无向连通图中各节点的位置坐标特征、文本特征、图像特征及位置编码特征，并执行融合操作得到各节点的目标融合特征；将包含有边特征及节点目标融合特征的无向连通图，输入节点关系分类模型，得到无向连通图中各节点之间边的分类结果；基于分类结果将各文本框填充至模板文件的对应位置，得到重构的目标表格文件。本发明可以将非结构化的表格图像转换为结构化的表格文件。本发明还涉及区块链技术领域，上述目标表格文件可以存储于一区块链的节点中。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的表格图像重构方法、装置、设备及存储介质。

背景技术

表格是一种有效的数据组织与展现方法被广泛应用，随着文档尤其是通过扫描、拍照等方式生成的文档快速增长，实现自动重构表格文档图像的方法非常重要。重构表格图像是指将不可编辑的表格图像，自动转换为保持原始表格结构的excel形式。由于表格文档版式复杂、背景纹理丰富、信息排版多样、光照程度及拍摄机器质量等因素，目前大多研究仅限于对表格图像的文字识别，因此，亟需通过技术方案实现对表格图像的重构。

发明内容

鉴于以上内容，本发明提供一种基于人工智能的表格图像重构方法、装置、设备及存储介质，其目的在于实现将非结构化表格图像自动转换为结构化的表格文件。

为实现上述目的，本发明提供一种基于人工智能的表格图像重构方法，该方法包括：

将待重构的表格图像输入预先构建的图像识别模型，得到所述表格图像中各文本框的坐标信息及文本信息，以各文本框作为节点，各文本框之间的距离作为边构建无向连通图；

分别提取所述无向连通图中各节点的位置坐标特征、文本特征、图像特征及位置编码特征，对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行融合操作，得到各节点对应的目标融合特征；

将各节点之间的距离特征作为所述无向连通图的边特征，将包含有边特征及节点目标融合特征的无向连通图，输入预先训练好的节点关系分类模型，得到所述无向连通图中各节点之间边的分类结果；

基于各节点之间边的分类结果确各节点之间的位置关系，基于各节点的位置关系将各节点对应的文本框填充至预设模板文件的对应位置，得到重构的目标表格文件。

优选的，所述图像识别模型包括位置检测模型及文本识别模型，所述将待重构的表格图像输入预先构建的图像识别模型，得到所述表格图像中各文本框的坐标信息及文本信息，包括：

将所述表格图像输入所述位置检测模型，得到所述表格图像中各个文本框的坐标信息，基于各个文本框的坐标信息对表格图像的文本框进行切分，将切分后的文本框分别输入所述文本识别模型，得到各文本框的文本信息。

优选的，所述提取所述无向连通图中各节点的图像特征，包括：

利用FPN算法构建特征塔，将节点对应的图像依次输入至所述特征塔的不同层级，利用所述特征塔中的映射通道将所述特征塔中各层级的图像逐层向下映射至所述特征塔底层的图像中，对映射后特征塔底层的多张映射图像进行拼接，得到该节点对应的图像特征。

优选的，所述对各节点的位置坐标特征、文本特征、图像特征及位置编码特征执行融合操作，包括：

对各节点对应的位置坐标特征、文本特征、图像特征及位置编码特征分别通过预设模型的全连接层进行特征转换，生成四个不同尺寸的初始特征；

将四个不同尺寸的初始特征的尺寸调整至相同的尺寸，将调整后的四个初始特征进行点乘运算生成初始融合特征；