[发明专利]图像处理方法及装置、电子设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

对图像进行识别，确定所述图像中的多个目标区域，所述目标区域为待提取文本所在区域；

确定所述图像中各目标区域之间的相对位置特征；

确定各所述目标区域的目标特征，所述目标特征包括所述待提取文本的特征；

通过图卷积神经网络，对所述相对位置特征和所述目标特征进行特征提取，得到提取后的特征；

根据提取后的特征，确定所述待提取文本对应的字段。

2.根据权利要求1所述方法，其特征在于，通过图卷积神经网络，对所述相对位置特征和所述目标特征进行特征提取，得到提取后的特征，包括：

以各所述目标特征为图的节点，以各所述相对位置特征为连接两个节点的边，构建连通图；

通过图卷积神经网络，对所述连通图进行迭代更新，将迭代更新后满足收敛条件的连通图作为提取后的特征。

3.根据权利要求2所述方法，其特征在于，根据提取后的特征，确定所述待提取文本对应的字段，包括：

根据预先定义的多个预设类别，对图卷积神经网络输出的连通图中的节点进行分类，得到节点的类别，所述预设类别包括：表征文本属于预设字段的标识的类别，以及表征文本属于预设字段的字段值的类别；

根据所述节点的类别，确定待提取文本对应于预设字段的标识或字段值。

4.根据权利要求1-3中任一项所述方法，其特征在于，确定所述图像中各目标区域之间的相对位置特征，包括：

确定图像中的第一目标区域和第二目标区域的相对位置参数；

对所述相对位置参数进行特征化处理，得到第一目标区域和第二目标区域的相对位置特征。

5.根据权利要求4所述方法，其特征在于，所述相对位置参数包括下述至少一种：

第一目标区域相对于第二目标区域的横向距离和纵向距离；

所述第一目标区域的宽高比；

所述第二目标区域的宽高比；

所述第一目标区域和所述第二目标区域的相对尺寸关系。

6.根据权利要求4或5任一所述方法，其特征在于，对所述相对位置参数进行特征化处理，得到第一目标区域和第二目标区域的相对位置特征，包括：

将所述相对位置参数通过正余弦变换矩阵映射到一个D维的空间，得到D维的特征向量，D为正整数；

通过预设权重矩阵，将所述D维的特征向量转化为1维的权重值；

通过预设激活函数对所述权重值进行处理，得到相对位置特征。

7.根据权利要求1-6中任一项所述方法，其特征在于，确定各所述目标区域的目标特征，包括：

确定目标区域中的像素数据，对所述像素数据进行特征提取，得到视觉特征；

确定目标区域中的文本字符，对所述文本字符进行特征提取，得到字符特征；

根据提取到的视觉特征和字符特征，确定目标区域的目标特征。

8.根据权利要求7所述方法，其特征在于，根据提取到的视觉特征和字符特征，确定目标区域的目标特征，包括：

将所述视觉特征和字符特征赋予不同的权重；

对赋予权重后的所述视觉特征和字符特征进行融合，得到目标区域的目标特征。

9.根据权利要求1-8中任一项所述方法，其特征在于，所述方法通过预先构建的分类网络实现，所述分类网络的训练步骤如下：

将样本图像输入所述分类网络中处理，得到样本图像中待提取文本的第一预测类别，以及所述第一预测类别中各个类别之间的对应关系；

根据所述第一预测类别，以及所述样本图像的标注类别，训练所述分类网络，所述标注类别包括：表征文本属于预设字段的标识的类别，以及表征文本属于预设字段的字段值的类别；

根据所述对应关系，以及标注的待提取文本之间的对应关系，训练所述分类网络。

10.根据权利要求1-9中任一项所述方法，其特征在于，所述图像包括下述至少一种：收据图像、发票图像、名片图像。