[发明专利]图像字符识别方法、装置、介质及电子设备

权利要求书

1.一种图像字符识别方法，其特征在于，所述方法包括：

接收待识别图像，其中，所述待识别图像中包含多个语种的字符；

根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果；

其中，所述字符识别模型中包含字符识别子模型和语种分类子模型，所述语种分类子模型用于对所述多个语种的字符进行语种分类，所述字符识别子模型用于对所述多个语种的字符进行识别；所述字符识别模型是基于所述字符识别子模型和所述语种分类子模型进行并行联合训练得出的；

所述字符识别模型通过以下方式确定：

确定训练样本中的训练图像的每一训练字符行图像，其中，所述训练样本中包括所述训练图像，以及与所述训练图像对应的字符标注结果和语种标注结果；

通过预设模型中的特征提取子模型提取每一所述训练字符行图像的训练图像特征；

通过所述预设模型中的字符识别子模型对所述训练图像特征进行处理，以获得训练字符识别结果，以及通过预设模型中的语种分类子模型对所述训练图像特征进行处理，以获得训练语种分类结果；

根据所述训练字符识别结果和所述训练语种分类结果，以及所述字符标注结果和所述语种标注结果，确定所述预设模型的目标损失，并在所述预设模型的目标损失小于或等于预设阈值时结束训练，将获得的预设模型确定为所述字符识别模型。

2.根据权利要求1所述的方法，其特征在于，所述字符识别模型还包括特征提取子模型；

所述根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果，包括：

确定所述待识别图像中的每一字符行信息；

根据每一所述字符行信息从所述待识别图像中确定每一字符行图像；

通过所述特征提取子模型提取每一所述字符行图像的图像特征；

通过所述字符识别子模型对所述图像特征进行处理，以获得所述字符识别结果，以及通过所述语种分类子模型对所述图像特征进行处理，以获得所述语种分类结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述训练字符识别结果和所述训练语种分类结果，以及所述字符标注结果和所述语种标注结果，确定所述预设模型的目标损失，包括：

根据所述训练字符识别结果和所述字符标注结果，基于CTC损失函数确定所述预设模型的字符识别子模型的第一损失；

根据所述训练语种分类结果和所述语种标注结果，基于交叉熵损失函数确定所述预设模型的语种分类子模型的第二损失；

根据所述第一损失和所述第二损失，确定所述字符识别模型的目标损失。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述字符识别结果和所述语种分类结果，输出所述待识别图像的识别结果，所述识别结果包括所述待识别图像中的每一字符行文本以及与该字符行文本对应的语种标识。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

响应于接收到用户针对于所述识别结果的确认操作，根据所述字符行文本对应的语种标识对所述字符行文本进行语种转换，以获得目标语种下所述字符行文本对应的转换文本；和/或，

响应于接收到用户针对所述识别结果中的目标字符行文本对应的语种标识的修改操作，将修改后的语种标识确定为所述目标字符行文本对应的语种标识。