[发明专利]笔画层级手写字符序列识别方法、装置、终端及存储介质

说明书

本发明公开了一种笔画层级手写字符序列识别方法、装置、终端及存储介质，其中，上述方法包括：获取待识别手写字符的笔画图片序列；基于所述笔画图片序列，根据编码端神经网络模型获得笔画序列特征；基于已识别字符序列，获取字符序列特征；基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层，获得所述待识别手写字符的语义特征向量；基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果。与现有技术相比，本发明通过将手写字符序列的上下文语义信息与手写字符的笔画特征融合，能够准确识别非完整笔画字符，提高识别效率，实现高鲁棒性的手写汉字序列识别。

技术领域

本发明涉及手写识别技术领域，尤其涉及的是一种笔画层级手写字符序列识别方法、装置、终端及存储介质。

背景技术

随着智能终端的快速发展，手写识别技术被广泛应用。现有的手写识别技术主要识别和处理当前书写的单个字符，如将字符图片作为单个整体，采用深度学习模型来获取字符的特征并进行识别，当书写的字符出现笔画缺失、连笔或者断笔等情况时，该方法就不能准确地对手写字符进行识别，难以适应实际应用需求。

目前，虽然也有手写识别技术从字符的笔画层级提取特征，来提高对缺笔、断笔等字符的识别精度，但是也是基于对当前书写的单个字符进行识别和处理。由于忽略了当前书写字符的上下文语义关系，识别精度不高。

因此，现有技术还有待改进和发展。

发明内容

本发明的主要目的在于提供一种笔画层级手写字符序列识别方法、装置、终端及存储介质，旨在解决现有技术中对笔画缺失、连笔或者断笔等字符识别精度不高的问题。

为了实现上述目的，本发明提供了一种笔画层级手写字符序列识别方法，包括：

获取待识别手写字符的笔画图片序列；

基于所述笔画图片序列，根据神经网络模型获得笔画序列特征；

基于已识别字符序列，获取字符序列特征；

基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述待识别手写字符的语义特征向量；

基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果。

可选的，所述基于所述笔画图片序列，根据神经网络模型获得笔画序列特征，包括：

基于所述笔画图片序列，根据卷积神经网络获得所述笔画图片序列中所有笔画图片的笔画图片特征；

获取所述笔画图片序列中所有笔画图片的位置特征；

将所述笔画图片特征和所述位置特征输入双向多头自注意力层，获得所述笔画序列特征，所述笔画序列特征的长度为可变长度。

可选的，所述获取所述笔画图片序列中所有笔画图片的位置特征，包括：

获取所述笔画图片序列中所有笔画图片的位置编码；

将所述位置编码输入位置嵌入层，获得所述位置特征。

可选的，所述基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果，包括：

基于最大池化目标，对所述笔画序列特征降维，获得最大池化特征；

基于所述最大池化特征和所述语义特征向量，拼接获得所述待识别手写字符的特征向量；

基于特征向量，根据神经网络模型获得所述待识别手写字符的识别结果。