[发明专利]一种视觉特征增强的字符识别方法、装置和设备

权利要求书

1.一种视觉特征增强的字符识别方法，包括：

针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和所述区域的多个字符文本特征，所述字符文本特征对应于所述区域中的一个字符；

针对每个区域，基于所述区域的视觉特征和所述多个字符文本特征，确定所述区域的中的字符的字符视觉语义特征；以及

基于所述字符视觉语义特征，对所述字符进行识别。

2.根据权利要求1所述的方法，其中针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和所述区域的多个字符文本特征包括：

确定所述包括字符的图像的图像特征；

基于所述图像特征和所述图像中的多个区域的每个区域在所述图像中的区域位置信息，确定所述区域的视觉特征；以及

基于所述区域位置信息和所述区域中包括的字符，确定所述多个字符文本特征。

3.根据权利要求2所述的方法，其中基于所述图像特征和所述图像中的多个区域的每个区域在所述图像中的区域位置信息，确定所述区域的视觉特征包括：

确定所述图像中的多个区域的每个区域在所述图像中的区域位置信息；

基于所述图像特征和所述区域位置信息，确定所述区域的区域特征；以及

将所述区域位置信息和所述区域特征进行组合，以确定所述区域的视觉特征。

4.根据权利要求1所述的方法，其中针对每个区域，基于所述区域的视觉特征和所述多个字符文本特征，确定所述区域中的字符的字符视觉语义特征包括：

将所述多个区域的所述视觉特征和所述多个字符文本特征进行融合，以获取图像视觉语义特征；

对所述图像视觉语义特征进行增强，以获取增强图像视觉语义特征；以及

基于增强图像视觉语义特征中的所述多个字符文本特征和相应的视觉特征，确定所述字符视觉语义特征。

5.根据权利要求1所述的方法，其中基于所述字符视觉语义特征，对所述字符进行识别包括：

将字符的所述字符视觉语义特征按照所述字符在所述图像中的位置进行排序，以获取所述字符视觉语义特征的特征序列；以及

基于所述特征序列，确定所述字符的字符类别。

6.根据权利要求5所述的方法，还包括：

获取待确定的实体的实体类别；以及

基于所述实体类别和所述字符类别，确定与所述实体相对应的字符。

7.一种视觉特征增强的字符识别装置，包括：

第一特征确定模块，被配置为针对包括字符的图像中的多个区域中的每个区域，确定区域的视觉特征和所述区域的多个字符文本特征，所述字符文本特征对应于所述区域中的一个字符；

第二特征确定模块，被配置为针对每个区域，基于所述区域的视觉特征和所述多个字符文本特征，确定所述区域的中的字符的字符视觉语义特征；以及

字符识别模块，被配置为基于所述字符视觉语义特征，对所述字符进行识别。

8.根据权利要求7所述的装置，其中所述第一特征确定模块包括：

图像特征确定模块，被配置为确定所述包括字符的图像的图像特征；

第一视觉特征确定模块，被配置为基于所述图像特征和所述图像中的多个区域的每个区域在所述图像中的区域位置信息，确定所述区域的视觉特征；以及

字符文本特征确定模块，被配置为基于所述区域位置信息和所述区域中包括的字符，确定所述多个字符文本特征。

9.根据权利要求8所述的装置，其中所述第一视觉特征确定模块包括：

区域位置信息确定模块，被配置为确定所述图像中的多个区域的每个区域在所述图像中的区域位置信息；

区域特征确定模块，被配置为基于所述图像特征和所述区域位置信息，确定所述区域的区域特征；以及

第二视觉特征确定模块，被配置为将所述区域位置信息和所述区域特征进行组合，以确定所述区域的视觉特征。