[发明专利]表格图像处理方法、装置和存储介质

权利要求书

1.一种表格图像处理方法，包括：

获取表格图像中各个文本框的第一文本信息以及第一位置信息；其中，所述文本框是指所述表格图像中文本所对应的图像区域；

确定所述表格图像中待识别单元格图像的第二位置信息；

从所述第一位置信息中，获取与所述第二位置信息匹配的第三位置信息；

将所述第三位置信息所对应文本框中的第二文本信息作为所述待识别单元格图像中的文本内容；

其中，所述确定所述表格图像中待识别单元格图像的第二位置信息，包括：

获取所述表格图像的图像特征图；

根据所述第一文本信息的语义特征和所述第一位置信息，生成所述表格图像的语义特征图；

根据所述图像特征图和所述语义特征图，确定所述第二位置信息。

2.根据权利要求1所述的方法，所述根据所述第一文本信息的语义特征和所述第一位置信息，生成所述表格图像的语义特征图，包括：

生成与所述图像特征图的尺寸相同的初始特征图，其中，所述初始特征图上的像素值均为零；

根据所述图像特征图的尺寸和所述表格图像的尺寸，确定所述表格图像的缩小倍数；

根据所述缩小倍数，确定所述第一位置信息在所述初始特征图上的映射位置信息；

将所述语义特征填充到所述映射位置信息上，以得到所述语义特征图。

3.根据权利要求1或2所述的方法，其中，所述根据所述图像特征图和所述语义特征图，确定所述第二位置信息，包括：

对所述图像特征图和语义特征图进行特征融合，以得到融合特征图；

根据所述融合特征图，确定所述表格图像的表格结构信息，所述表格结构信息包括文本标签；

将所述表格图像中与所述文本标签对应的单元格图像作为所述待识别单元格图像；

基于所述融合特征图和所述文本标签，确定所述第二位置信息。

4.根据权利要求3所述的方法，其中，所述根据所述融合特征图，确定所述表格图像的表格结构信息，包括：

采用结构解码器，对所述融合特征图进行处理，以得到所述表格结构信息。

5.根据权利要求4所述的方法，其中，所述基于所述融合特征图和所述文本标签，确定所述第二位置信息，包括：

从所述结构解码器的多个解码单元中，获取与所述文本标签对应的目标解码单元；

采用位置解码器，对所述目标解码单元的输出特征以及所述融合特征图进行处理，以得到所述待识别单元格图像的第二位置信息。

6.一种表格图像处理装置，包括：

第一获取模块，用于获取表格图像中各个文本框的第一文本信息以及第一位置信息；其中，所述文本框是指所述表格图像中文本所对应的图像区域；

第一确定模块，用于确定所述表格图像中待识别单元格图像的第二位置信息；

第二获取模块，用于从所述第一位置信息中，获取与所述第二位置信息匹配的第三位置信息；

第二确定模块，用于将所述第三位置信息所对应文本框中的第二文本信息作为所述待识别单元格图像中的文本内容；

其中，所述第一确定模块，包括：

获取子模块，用于获取所述表格图像的图像特征图；

生成子模块，用于根据所述各个文本框的第一文本信息的语义特征和第一位置信息，生成所述表格图像的语义特征图；

确定子模块，用于根据所述图像特征图和所述语义特征图，确定所述第二位置信息。

7.根据权利要求6所述的装置，所述生成子模块，具体用于：

生成与所述图像特征图的尺寸相同的初始特征图，其中，所述初始特征图上的像素值均为零；

根据所述图像特征图的尺寸和所述表格图像的尺寸，确定所述表格图像的缩小倍数；

根据所述缩小倍数，确定所述第一位置信息在所述初始特征图上的映射位置信息；

将所述语义特征填充到所述映射位置信息上，以得到所述语义特征图。