[发明专利]对图像进行信息识别的方法、装置

权利要求书

1.一种对图像进行信息识别的方法，其特征在于，所述方法包括：

检测目标图像中包括的多个字符内容单元分别对应的图像区域，得到每个图像区域在所述目标图像中的位置信息，其中，所述目标图像为目标文档的图像；

基于每个图像区域在所述目标图像中的位置信息，对每个图像区域对应的局部图像进行字符识别，得到每个图像区域对应的字符内容单元的字符；

基于每个图像区域对应的字符内容单元的字符和每个图像区域在所述目标图像中的位置信息，确定所述目标文档中的至少一个数据项名称和每个数据项名称对应的数据项信息。

2.根据权利要求1所述的方法，其特征在于，所述基于每个图像区域对应的字符内容单元的字符和每个图像区域在所述目标图像中的位置信息，确定所述目标文档中的至少一个数据项名称和每个数据项名称对应的数据项信息，包括：

基于所述目标图像和每个图像区域在所述目标图像中的位置信息，确定每个图像区域的第一特征信息；

基于每个图像区域的第一特征信息和每个图像区域对应的字符内容单元的字符，确定所述目标文档中的至少一个数据项名称和每个数据项名称对应的数据项信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像和每个图像区域在所述目标图像中的位置信息，确定每个图像区域的第一特征信息，包括：

基于第一特征提取模型提取所述目标图像的第二特征信息，并基于第二特征提取模型和每个图像区域在所述目标图像中的位置信息，提取每个图像区域对应的局部图像的第三特征信息；

基于所述目标图像的第二特征信息和所述每个图像区域对应的局部图像的第三特征信息，确定每个图像区域的第一特征信息。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标图像的第二特征信息和所述每个图像区域对应的局部图像的第三特征信息，确定每个图像区域的第一特征信息，包括：

基于所述目标图像的第二特征信息和第三特征提取模型，确定所述目标图像的第四特征信息；

基于所述每个图像区域对应的局部图像的第三特征信息和第四特征提取模型，确定每个图像区域对应的局部图像的第五特征信息；

对于每个图像区域，基于所述目标图像的第四特征信息、所述图像区域对应的局部图像的第五特征信息和第五特征提取模型，确定所述图像区域的第一特征信息。

5.根据权利要求2-4任一所述的方法，其特征在于，所述基于每个图像区域的第一特征信息和每个图像区域对应的字符内容单元的字符，确定所述目标文档中的至少一个数据项名称和每个数据项名称对应的数据项信息，包括：

基于每个图像区域的第一特征信息和精分类模型，确定每个图像区域对应的字符内容单元的精分类类型，其中，所述精分类类型包括至少一个数据项名称类型和每个数据项名称类型对应的数据项信息类型；

基于每个图像区域对应的字符内容单元的精分类类型和每个图像区域对应的字符内容单元的字符，确定所述目标文档中的至少一个数据项名称和每个数据项名称对应的数据项信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

获取样本图像、所述样本图像中包括的多个字符内容单元分别对应的样本图像区域在所述样本图像中的位置信息、以及每个样本图像区域对应的字符内容单元的基准精分类类型；

基于所述样本图像和每个样本图像区域在所述样本图像中的位置信息，确定每个样本图像区域的第一样本特征信息；

基于每个样本图像区域的第一样本特征信息和初始的精分类模型，确定每个样本图像区域对应的字符内容单元的预测精分类类型；

基于每个样本图像区域对应的字符内容单元的预测精分类类型和基准精分类类型，确定第一损失值；

基于所述第一损失值对所述初始的精分类模型进行训练调参。