[发明专利]一种图像中字符识别方法、装置和介质

权利要求书

1.一种图像中字符识别方法，其特征在于，包括：

在视频图像序列中，选择边缘密度满足预设阈值的视频图像作为输入图像；

确定输入图像中包含的文本串区域图像；

确定所述文本串区域图像的宽高比；

根据确定出的宽高比确定所述文本串区域图像对应的特征提取模型和识别概率模型；所述特征提取模型和所述识别概率模型是针对不同长度的字符串分别进行训练得到的；

利用特征提取模型提取所述文本串区域图像的特征得到多个特征图像，所述特征提取模型为利用卷积神经网络算法对预先生成的训练图像样本进行训练得到的；

基于所述多个特征图像组成的特征图像序列，利用识别概率模型确定所述特征图像序列中每一特征图像对应于预先定义的每一字符的概率值，所述识别概率模型为利用循环神经网络算法对所述训练图像样本进行训练得到；

根据所述识别概率模型输出的每一特征图像对应于预先定义的每一字符概率值，确定所述特征图像序列对应的字符序列；

结合多帧视频图像的识别结果对得到的字符序列进行校验；

根据所述识别概率模型输出的每一特征图像对应于预先定义的每一字符概率值，确定所述特征图像序列对应的字符序列，包括：

按照以下任一方式获得特征图像序列对应的字符序列：

第一种方式，分别输出所述特征图像序列中每一特征图像对应的概率值最大的字符组成所述特征图像序列对应的字符序列；

第二种方式，分析前后N个字符共同出现的概率，根据分析结果输出组成所述特征图像序列对应的字符序列；

所述训练图像样本是按照以下流程生成的：

从给定的图像中随机截取预设大小的图像；

按照预设概率随机从字符集中选择若干个字符组成字符串；

将得到的字符串按照随机选择的字体和排列形状渲染到截取的图像中并添加噪声干扰后得到所述训练图像样本；

在特征提取模型和识别概率模型训练结束后，所述方法还包括：

针对每一训练图像样本，确定利用所述特征提取模型和识别概率模型对该训练样本进行处理后得到的概率矩阵中所包含的每一概率向量对应的特征图像，所述特征图像为针对该训练样本，利用所述特征提取模型进行处理得到；

针对该训练图像样本包含的每一特征图像，根据该特征图像对应的概率向量中最大概率值对该特征图像进行标注得到标注图像样本；

利用所述标注图像样本对所述特征提取模型继续进行训练，直至利用所述特征提取模型对所述标注图像样本处理得到的每一特征图像对应的概率值达到预设阈值。

2.如权利要求1所述的方法，其特征在于，针对每一训练图像样本，按照以下公式确定所述概率矩阵中所包含的每一概率向量对应的特征图像：

recWidth_i＝recWidth_i-1*SW_i+KW_i，其中：

i为预先定义的网络结构的层标识；

recWidth_i为第i层对应的概率矩阵中所包含的每一概率向量对应的特征图像；

recWidth_i-1为第(i-1)层对应的概率矩阵中所包含的每一概率向量对应的特征图像；

SW_i为第i层对应的卷积前进步长；

KW_i为第i层对应的卷积核的宽度。