[发明专利]基于神经网络模型的手写识别方法、装置及电子设备

说明书

本申请实施例公开了一种基于神经网络模型的手写识别方法、装置及电子设备，涉及图像识别技术领域。神经网络模型包括第一神经网络、第二神经网络，该方法包括：对待识别图像进行预处理，得到至少一个文本行，待识别图像包括手写字体；将文本行输入第一神经网络，以获得至少一个分割后的字符；将至少一个分割后的字符输入第二神经网络，以输出识别手写字体后对应的文本。本申请实施例通过两个神经网络分别对手写字体进行分割、对分割后的字符进行识别，使得对分割结果和识别结果可实现较好的控制，以提高分割、识别准确率，以及网络训练效率。

技术领域

本申请实施例涉及图像识别技术领域，更具体地，涉及一种基于神经网络模型的手写识别方法、装置及电子设备。

背景技术

中文手写识别一直在拍照文档、支票、表单表格、证件、邮政信封、票据、手稿文书等地方有重要的应用。现有的手写汉字识别框架大都基于传统的预处理、特征提取、分类器，随着深度学习的兴起，基于深度学习的手写识别方法所可以取得的效果普遍领先于传统方法，但是在对连续的手写汉字进行识别时，识别准确率仍较低。

发明内容

本申请实施例提供一种基于神经网络模型的手写识别方法、装置、电子设备及存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种基于神经网络模型的手写识别方法，所述神经网络模型包括第一神经网络、第二神经网络，所述方法包括：对所述待识别图像进行预处理，得到至少一个文本行，所述待识别图像包括手写字体；将所述文本行输入所述第一神经网络，以获得至少一个分割后的字符；将所述至少一个分割后的字符输入所述第二神经网络，以输出识别所述手写字体后对应的文本。

可选地，所述将所述文本行输入所述第一神经网络，以获得至少一个分割后的字符，包括：将所述文本行输入第一神经网络，获得至少一个字符的估计位置信息及所述估计位置信息对应的分割标签，所述分割标签包括可分割标签；根据所述可分割标签确定可分割位置；根据所述可分割位置对所述文本行区域进行字符分割，获得至少一个分割后的字符。

可选地，所述将所述至少一个分割后的字符输入所述第二神经网络，以输出识别所述手写字体后的文本之后，包括：获取用户基于所述输出识别所述手写字体后的文本的评价结果，所述评价结果包括错误字符及所述错误字符对应的正确字符、正确位置信息；将所述正确位置信息作为真实位置信息，获取所述错误字符对应的第一损失函数值，所述第一损失函数值与所述第一神经网络对应，用于衡量所述错误字符对应的所述第一神经网络的输出与所述错误字符对应的真实位置信息的误差；将所述正确字符作为真实字符，获取所述错误字符对应的第二损失函数值，所述第二损失函数值与所述第二神经网络对应，用于衡量所述错误字符对应的所述第二神经网络的输出与所处错误字符对应的真实字符之间的误差；将所述第一损失函数值、所述第二损失函数值分别与预设阈值进行比较，并将超过预设阈值的损失函数值确定为目标损失函数值，将所述目标损失函数值对应的神经网络确定为目标神经网络；基于所述目标损失函数值，调整所述目标神经网络的网络参数，并将调整后的目标神经网络用于下一次手写识别。

可选地，所述将所述第一损失函数值、所述第二损失函数值分别与预设阈值进行比较，并将超过预设阈值的损失函数值确定为目标损失函数值，将所述目标损失函数值对应的神经网络确定为目标神经网络，包括：若所述第一损失函数值超过预设阈值，将所述第一损失函数值确定为目标损失函数值，将所述第一神经网络确定为目标神经网络，以用于调整所述第一损失函数值对应的第一神经网络；若所述第二损失函数值超过预设阈值，将所述第二损失函数值确定为目标损失函数值，将所述第二神经网络确定为目标神经网络，以用于调整所述第二损失函数值对应的第二神经网络。

可选地，获取训练样本集合，包括：采集样本视觉模型驱动参数以及样本音频信息；根据样本视觉模型驱动参数的时间戳信息以及样本音频信息的时间戳信息，对样本视觉模型驱动参数与样本音频信息进行对齐。