[发明专利]笔画层级手写字符序列识别方法、装置、终端及存储介质

权利要求书

1.笔画层级手写字符序列识别方法，其特征在于，包括：

获取待识别手写字符的笔画图片序列，所述待识别手写字符为当前正在输入的字符；

基于所述笔画图片序列，根据编码端神经网络模型获得笔画序列特征；

基于已识别字符序列，获取字符序列特征；

基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入解码端单向多头自注意力层，获得所述待识别手写字符的语义特征向量；

基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果；

所述基于所述笔画图片序列，根据神经网络模型获得笔画序列特征，包括：

基于所述笔画图片序列，根据卷积神经网络获得所述笔画图片序列中所有笔画图片的笔画图片特征；

获取所述笔画图片序列中所有笔画图片的位置特征；

将所述笔画图片特征和所述位置特征输入双向多头自注意力层，获得所述笔画序列特征，所述笔画序列特征的长度为可变长度。

2.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述获取所述笔画图片序列中所有笔画图片的位置特征，包括：

获取所述笔画图片序列中所有笔画图片的位置编码；

将所述位置编码输入位置嵌入层，获得所述位置特征。

3.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于所述语义特征向量和所述笔画序列特征，根据神经网络模型获得所述待识别手写字符的识别结果，包括：

基于最大池化目标，对所述笔画序列特征降维，获得最大池化特征；

基于所述最大池化特征和所述语义特征向量，拼接获得所述待识别手写字符的特征向量；

基于特征向量，根据神经网络模型获得所述待识别手写字符的识别结果。

4.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于交叉注意力机制，将所述字符序列特征和所述笔画序列特征输入单向多头自注意力层，获得所述待识别手写字符的语义特征向量，包括：

获取神经网络中保存的所述已识别字符序列的语义信息；

基于交叉注意力机制，将所述语义信息、所述字符序列特征和所述笔画序列特征输入至单向多头自注意力层，获得所述待识别手写字符的语义特征向量并更新所述语义信息。

5.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述获取待识别手写字符的笔画图片序列，还包括：

获取手写停顿时间；

基于所述手写停顿时间，根据笔画完整性判断方法判断所述待识别手写字符的笔画完整性；

若所述待识别手写字符为笔画完整，获取所述待识别手写字符的图片，对所述图片进行图像处理以使得所述图片中的字符居中；

基于所述待识别手写字符的图片获得所述笔画图片序列。

6.如权利要求1所述的笔画层级手写字符序列识别方法，其特征在于，所述基于已识别字符序列，获取字符序列特征，包括：

获取所述已识别字符序列中最后一个字符的映射编码；

基于所述映射编码，根据词嵌入方法获得字符向量；

基于所述已识别字符序列中最后一个字符的位置编码，获得位置向量；

基于所述位置向量和所述字符向量，获得所述字符序列特征。