[发明专利]一种基于像素级多特征联合分类的手写体字符的提取方法

权利要求书

1.一种基于像素级多特征联合分类的手写体字符的提取方法，其特征在于，具体包括以下步骤：

(1)字符定位：通过字符连通域算法或目标识别检测YoLo v3算法对图片中的文本字符进行定位处理，获取所述文本字符的定位坐标；

(2)样本收集：收集含手写体文本字符和印刷体文本字符的重叠字符的真实样本，再通过合成方式追加若干个类真实的样本，获得重叠文本字符样本；

(3)特征提取：对步骤(2)中的重叠文本字符样本进行多特征提取，特征维度可选择追加不同的学习样本，获得文本字符图；

(4)像素分类：对步骤(3)提取到的文本字符的特征进行像素级分类，获得字符特征的像素分类结果；

(5)字符提取：根据步骤(4)中的字符特征的像素分类结果，对图片中的像素位进行筛选并将判断为印刷体的字符像素的灰度值设置为白色，从而去除印刷体字符，提取出手写体字符；

所述步骤(1)中采用目标识别检测YoLo v3算法对图片中的文本字符进行定位处理的具体步骤为：

S1-1：对图片中的每个文本字符进行标注；

S1-2：通过DarkNet53网络对每个文本字符进行特征提取；并采用不同尺度的特征图对提取的特征进行目标检测；

S1-3：将DarkNet53网络产出的不同尺度的所述特征图作为输入，以FPN(featurepyramid networks)算法作为参考，通过卷积层和上采样对不同尺度的特征图进行融合，从而实现快速的对图片中的每个字符进行定位和检测；

所述步骤(1)中采用所述字符连通域算法对图片中的文本字符进行定位处理的具体步骤为：

S11：按行和列遍历图片中第一个有像素值的点P(x,y)，并赋予其一个标注label，然后将与像素点相邻的所有前景像素都压入栈中；

S12：弹出栈顶像素，赋予其相同的标注label，然后再将与所述栈顶像素相邻的所有前景像素都压入栈中，重复此步骤，直至栈为空，便得到了图片中的某一个连通区域；

S13：重复步骤S11和步骤S12，完成整张图片的遍历，最终可得到所有文本字符的连通区域，从而实现文本字符的定位；

所述步骤(2)中样本收集的通过合成方式追加若干个类真实的样本的具体合成方法为计算机合成方式，具体步骤为：

S21：将手写体文本字符图片和印刷体文本字符图片的大小调整为相同大小；

S22：对步骤(1)中调整大小后的图片做二值化处理，再对处理后的图片做或运算保留其有效像素位；

S23：根据二值化处理后的合成图，筛选出有效像素位，再从文本字符的原始图的对应位置选取合成图像素值，从而得到重叠混合的文本字符；

所述步骤(3)中对所述字符样本进行多特征提取的具体步骤为：

S31：先对重叠文本字符样本进行多特征提取，将输入的文本字符图片的大小调整为统一的固定大小；特征维度根据需求选择追加不同的学习样本；

S32：使用全卷积FCN网络对图片中的多维特征进行卷积，提取有效的文本字符特征图；

所述步骤(4)中先通过上采样处理将提取到的文本字符的特征图片放大至输入图片的大小，保证特征图片的每个像素位与原图对齐，再对字符像素特征进行分类处理；分类处理的具体过程为：根据网络的对称性结构，对设定的多层卷积获取到文本字符的特征图后进行相同层数的上采样处理，反卷积至统一大小，对应分类每一个字符像素。

2.根据权利要求1所述的基于像素级多特征联合分类的手写体字符的提取方法，其特征在于，所述步骤S22中的二值化处理具体过程为：设定全局阈值128，将大于128的像素群像素值设定为白色，将小于128的像素群像素值设定为黑色。

3.根据权利要求1所述的基于像素级多特征联合分类的手写体字符的提取方法，其特征在于，所述步骤S31中特征维度根据需求选择追加不同的学习样本包括字符的宽高、字符的关键笔画和字符的连通域。

4.根据权利要求1所述的基于像素级多特征联合分类的手写体字符的提取方法，其特征在于，将输入的文本字符图片的大小调整为统一的固定大小32*32。

5.根据权利要求1所述的基于像素级多特征联合分类的手写体字符的提取方法，其特征在于，所述步骤(5)中将判断为印刷体的字符像素的灰度值设置为255。