[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：对图像进行识别，确定所述图像中的多个目标区域，所述目标区域为待提取文本所在区域；确定所述图像中各目标区域之间的相对位置特征；确定各所述目标区域的目标特征，所述目标特征包括所述待提取文本的特征；通过图卷积神经网络，对所述相对位置特征和所述目标特征进行特征提取，得到提取后的特征；根据提取后的特征，确定所述待提取文本对应的字段。本公开实施例可提高文本提取时的准确性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

图像中关键文字信息提取在自动化办公等场景中有着非常重要的作用，例如，通过对图像中的关键文字信息提取，可以实现诸如收据信息提取、发票信息提取、身份信息提取等功能。

在对图像中的文字进行提取时，会将识别出的文字对应到不同的字段中，以便后续对文字进行结构化存储、展示等操作。例如，识别出来的文字是“19.88元”，需要确定“19.88元”是对应字段“总价”，还是对应字段“单价”，以便后续将“19.88元”作为某个字段的值进行存储。

通常，会根据图像中文字的排布规则，预先定义模板，模板中定义了某个位置的文字和字段的对应关系，这样便可以确定识别出来的位于某个位置的文字对应的字段。例如，预先定义图像右下角的文字对应的字段为“总价”，这样可以确定图像右下角识别出来的“19.88元”对应的字段为“总价”。

但是，基于模板进行文字信息提取的方式，在对没有适配模板的图像进行文字信息提取时，准确性较差。

发明内容

本公开提出了一种图像处理技术方案。

根据本公开的一方面，提供了一种图像处理方法，包括：对图像进行识别，确定所述图像中的多个目标区域，所述目标区域为待提取文本所在区域；确定所述图像中各目标区域之间的相对位置特征；确定各所述目标区域的目标特征，所述目标特征包括所述待提取文本的特征；通过图卷积神经网络，对所述相对位置特征和所述目标特征进行特征提取，得到提取后的特征；根据提取后的特征，确定所述待提取文本对应的字段。

在本公开实施例中，能够通过图卷积神经网络，基于各目标区域之间的相对位置特征以及待提取文本的特征，确定图像中的待提取文本对应的字段。可不依赖于固定的模板进行文本提取，相对于基于模板进行文本提取的方式，在对没有适配模板的图像进行文本提取时，准确性较高。

在一种可能的实现方式中，通过图卷积神经网络，对所述相对位置特征和所述目标特征进行特征提取，得到提取后的特征，包括：以各所述目标特征为图的节点，以各所述相对位置特征为连接两个节点的边，构建连通图；通过图卷积神经网络，对所述连通图进行迭代更新，将迭代更新后满足收敛条件的连通图作为提取后的特征。

在本公开实施例中，构建的连通图既包含了图像中的目标特征，也包含了图像中目标特征之间的相对位置特征，可以从整体上表征图像中文字的特征，因此能够提高关键信息提取结果的准确性。

图卷积神经网络在对特征进行提取时，能够以连通图的形式表示图像，对特征进行提取。连通图由若干个结点(Node)及连接两个结点的边(Edge)所构成，边用于刻画不同结点之间的关系。因此，通过图卷积神经网络提取后的特征，能够准确地表征各目标区域之间的相对位置和待提取文本的特征，以提高后续文本提取时的准确性。

在一种可能的实现方式中，根据提取后的特征，确定所述待提取文本对应的字段，包括：根据预先定义的多个预设类别，对图卷积神经网络输出的连通图中的节点进行分类，得到节点的类别，所述预设类别包括：表征文本属于预设字段的标识的类别，以及表征文本属于预设字段的字段值的类别；根据所述节点的类别，确定待提取文本对应于预设字段的标识或字段值。