[发明专利]文本识别方法、电子设备及计算机可读介质

权利要求书

1.一种文本识别方法，其特征在于，包括：

对待识别的文本图像进行特征提取，获得对应的图像特征；

基于所述图像特征进行自注意力计算处理，获得对应的特征编码向量；并且，基于所述图像特征进行字符位置增强处理，获得对应的字符位置编码向量；

对所述特征编码向量和所述字符位置编码向量进行拼接，并对拼接后的编码向量进行语义特征提取，获得语义特征向量；

对所述语义特征向量进行解码，获得对应的文本字符。

2.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征进行自注意力计算处理，获得对应的特征编码向量，包括：

对所述图像特征进行全连接特征提取处理，获得Q、K、V三元组向量；

基于所述三元组向量进行自注意力计算处理，获得对应的特征编码向量。

3.根据权利要求2所述的方法，其特征在于，所述基于所述三元组向量进行自注意力计算处理，获得对应的特征编码向量，包括：

将所述三元组向量中的Q向量和K向量进行矩阵乘法运算，获得第一运算结果；

使用缩放因子对所述第一运算结果进行缩放处理，根据处理结果获得自注意力特征向量；

将所述自注意力特征向量与V向量进行矩阵乘法运算，获得所述特征编码向量。

4.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征进行字符位置增强处理，获得对应的字符位置编码向量，包括：

获取所述文本图像中的各个文本字符之间的位置特征；

基于所述位置特征和所述图像特征，获得所述字符位置编码向量。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法基于预设的神经网络模型执行；

所述神经网络模型包括，图像特征提取部分，并行连接于所述图像特征提取部分之后的自注意力部分和位置编码部分，与所述自注意力部分和所述位置编码部分连接的拼接部分，与拼接部分相连的语义特征提取部分；

其中：

所述图像特征提取部分，用于对待识别的文本图像进行特征提取，并输出对应的图像特征；

所述自注意力部分，用于基于所述图像特征进行自注意力计算处理，并输出对应的特征编码向量；

所述位置编码部分，用于基于所述图像特征进行字符位置增强处理，并输出对应的字符位置编码向量；

所述拼接部分，用于对所述特征编码向量和所述字符位置编码向量进行拼接，并输出拼接后的编码向量；

所述语义特征提取部分，用于对拼接后的编码向量进行语义特征提取，并输出语义特征向量。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

在通过所述神经网络模型对待识别的文本图像进行特征提取，获得对应的图像特征之前，使用第一训练样本集和第二训练样本集，对所述神经网络模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述使用第一训练样本集和第二训练样本集，对所述神经网络模型进行训练，包括：

使用第一训练样本集对第一所述神经网络模型进行训练，获得预训练模型，其中，所述第一训练样本集中的训练样本为打印体文本图像样本；

获取训练完成的所述预训练模型中的图像特征提取部分的模型参数；

使用所述图像特征提取部分的模型参数初始化第二所述神经网络模型中的图像特征提取部分的模型参数；

并使用第二训练样本集对进行了所述图像特征提取部分的模型参数初始化操作后的第二所述神经网络模型进行训练，其中，所述第二训练样本集中的训练样本为手写体文本图像样本。

8.根据权利要求1所述的方法，其特征在于，所述待识别的文本图像为包含手写体文本的文本图像。

9.一种电子设备，其特征在于，所述设备包括：

一个或多个处理器；

计算机可读介质，配置为存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的文本识别方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一项所述的文本识别方法。