[发明专利]图像中数学公式检测方法、装置、计算机设备及存储介质

权利要求书

1.一种图像中数学公式检测方法，所述方法包括：

获取待检测图像；

对所述待检测图像进行文本分割，得到多个文本区域；

将所述多个文本区域依次输入到训练好的第一卷积神经网络的输入变量中，输出多个粗选的包含数学公式的文本区域；

将所述粗选的包含数学公式的文本区域输入到训练好的第二卷积神经网络的输入变量中，输出最终包含数学公式的文本区域；

其中，所述第一卷积神经网络通过如下方式训练得到：

获取数学公式训练样本；

将每一个数学公式训练样本分割成多个文本区域，并对各所述文本区域进行归一化处理；

对分割得到的每个文本区域添加数值标签；

将归一化处理后的多个文本区域分成预定数量份的训练样本集；

依次在每一份训练样本集中选取多个文本区域，将选取的文本区域都处理成对应的行向量，以及按照强化学习理论计算出所述选取的文本区域对应的未来回报；

基于所述行向量，利用最优动作-值函数，计算所述选取的文本区域对应的期望最大回报值；

根据所述期望最大回报值以及所述未来回报，计算所述选取的文本区域对应的权值；

每一次将所述选取的文本区域输入到所述第一卷积神经网络的输入变量中时，根据所述选取的文本区域的权值对所述第一卷积神经网络中的权值进行调节；

根据每次调节后的权值对所述第一卷积神经网络进行训练，直到所有训练样本集选取并训练完毕，得到训练好的第一卷积神经网络，所述第一卷积神经网络依次对每一个所述选取的文本区域进行筛选；

所述第二卷积神经网络通过如下方式训练得到：

获取每一次将选取的文本区域输入到第一卷积神经网络的输入变量中输出得到的样本中粗选的包含数学公式的文本区域；

将每个所述样本中粗选的包含数学公式的文本区域输入到所述第二卷积神经网络的输入变量中进行训练，得到训练好的第二卷积神经网络；

所述将每个所述样本中粗选的包含数学公式的文本区域输入到所述第二卷积神经网络的输入变量中进行训练，得到训练好的第二卷积神经网络，具体包括：

每一次得到多个样本中粗选的包含数学公式的文本区域后，将所述多个样本中粗选的包含数学公式的文本区域依次输入到所述第二卷积神经网络的输入变量中进行训练，输出样本中最终包含数学公式的文本区域；

当输出的所述样本中最终包含数学公式的文本区域的数值标签表明所述文本区域不包含数学公式时，则对所述文本区域进行逆时针旋转预设角度，以及对所述文本区域加入预设值的高斯噪声；

将处理后的所述文本区域加入到下一份需要输入到所述第一卷积神经网络的输入变量中的训练样本集中；

从加入了处理后的所述文本区域的训练样本集中选取多个文本区域，将选取的文本区域输入到第一卷积神经网络的输入变量中进行再次训练，直到得到训练好的第二卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，所述依次将选取的文本区域输入到第一卷积神经网络的输入变量中进行训练，包括：

对于选取的每个文本区域，计算所述每个文本区域的权值；

每一次将所述文本区域输入到所述第一卷积神经网络的输入变量中时，根据所述文本区域的权值对所述第一卷积神经网络中的权值进行调节；

根据每次调节后的权值对所述第一卷积神经网络进行训练。

3.根据权利要求1所述的方法，其特征在于，所述将所述文本区域进行处理，包括：

将输出的所述样本中最终包含数学公式的文本区域进行逆时针旋转预设角度；

对旋转预设角度后的所述样本中包含数学公式的文本区域加入预设值的高斯噪音。

4.根据权利要求1所述的方法，其特征在于，所述将每个所述样本中粗选的包含数学公式的文本区域输入到所述第二卷积神经网络的输入变量中进行训练，包括：

获取根据选取的每个文本区域计算得到的所述每个文本区域的权值；

将每个所述样本中粗选的包含数学公式的文本区域输入到所述第二卷积神经网络的输入变量中时，根据所述文本区域的权值对所述第二卷积神经网络中的权值进行调节；

根据每次调节后的权值对所述第二卷积神经网络进行训练。