[发明专利]一种基于深度学习的文字检测方法及装置

说明书

本发明公开了一种基于深度学习的文字检测方法及装置。所述方法包括：设计多层卷积神经网络结构，把每一个字符作为一个类别，这样就形成了一个多类别分类问题；采用反向传播算法训练卷积神经网络用以识别单一字符，有监督地最小化该网络的目标函数，得到字符识别模型；最后用前端的特征提取层进行权值初始化，把最后一个全连接层结点数目改为2，使得网络成为一个二分类模型，用文字和非文字样本训练网络。经过以上步骤，一个文字检测分类器就完成了。在测试的时候，把全连接层转化为卷积层，给定一张输入图像，需要先进行多尺度滑动窗口扫描获得文字的概率图，再进行非极大值抑制得到最终的文字区域。

技术领域

本发明涉及模式识别与机器学习技术领域，特别涉及一种基于深度学习的文字检测方法及装置。

背景技术

对于文字检测，传统的连通区域法如SWT或者MSER，认为文字是连通的，这些方法对于文字模糊的情况处理不好。而深度学习是一种基于区域的方法，我们只需要提供大量训练样本，模型就会自动学习到鲁棒的特征表达，可以很好地处理模糊的情况。

另外，传统的扫描窗口法需要对每一个窗口进行测试，各个窗口之间会有重叠，这将大大增加计算时间。考虑到卷积操作具有平移不变性，可以将全连接层转化成卷积层，对整张测试图像进行卷积，得到文字区域的概率图。通过使用GPU进行并行计算，一张图像的测试时间在1s以内。

发明内容

为了解决现有技术存在的上述技术问题，本发明提供了一种基于深度学习的文字检测方法及装置。

根据本发明一方面，其提供了1、一种基于深度学习的文字检测方法，包括步骤：

步骤S1，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

步骤S2，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

步骤S3，将步骤S1中建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

步骤S4，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

步骤S5，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

步骤S6，利用步骤S5中修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。

根据本发明另一方面，其提供了一种基于深度学习的文字检测装置，包括：

构建模块，构建多层卷积神经网络；所述多层卷积神经网络包括多个卷积层和全连接层；其输入为图像，输出为字符分类结果；

字符识别模型训练模块，采用误差反向传播算法训练所述多层卷积神经网络，从而得到字符识别模型，其中训练过程中使用的目标函数为输入图像的真实字符类别与所述字符识别模型预测结果的交叉熵；

第一模型修改模块，将所述构建模块建立的多层卷积神经网络的输出层节点修改为2，并利用训练好的所述字符识别模型的权重初始化修改后的多层卷积神经网络的权重；

字符-非字符训练模块，利用字符-非字符数据集对修改后的多层卷积神经网络进行训练，得到字符-非字符二分类模型；

第二模型修改模块，将所述字符-非字符二分类模型中的所有全连接层修改成卷积层；

检测模块，第二模型修改模块修改后的所述字符-非字符二分类模型对测试图像采用多尺度扫描窗口进行测试，得到文字区域的概率图，并对所述概率图进行非极大值抑制得到最终的文字区域。