[发明专利]一种基于化学公式特征进行图像中化学公式检测的方法

摘要

本发明是一种基于化学公式特征进行图像中化学公式检测的方法。本方法是对任意文本图像进行灰度变换、二值化、分割，通过分割出的字符与整幅图像两方面进行化学公式检测。化学公式图像检测方法由单/双键判断、模板匹配、图像像素点密度判断、苯环判断组成，其中，单/双键判断、模板匹配是针对分割出的字符进行检测，图像像素点密度判断、苯环判断是对整幅图像进行检测。依次对图像进行四个模块的检测，若符合某一模块的检测，则判定为化学公式图像。本发明主要依据化学公式常见字符特征与书写的结构特征进行检测，通过字符的投影特征、图像密度与字符的结构特征进行检测，检测方法简单易实现，且对图像的清晰度、矫正度等要求不严格，识别率高。

主权项

1.一种基于化学公式特征进行图像中化学公式检测的方法，具体步骤为：对任意文本图像进行灰度变换、二值化、投影分割，对分割出的字符通过模板检测以及对分割出的字符进行水平投影和垂直投影，获取分割字符在水平和垂直方向上的投影特征，并与给定字符的水平与垂直投影特征进行对比检测的方法对图像中的化学公式进行检测，同时还通过对整幅图像进行检测判断图像是否为化学公式图像，其特征在于：所述的对分割出的字符通过模板检测以及对分割出的字符进行水平投影和垂直投影，获取分割字符在水平和垂直方向上的投影特征，并与给定字符的水平与垂直投影特征进行对比检测的方法对图像中的化学公式进行检测，同时还通过对整幅图像进行检测判断图像是否为化学公式图像的具体方法如下：步骤1.1，对图像进行灰度变换、二值化，对二值化的图像进行垂直投影分割与水平投影分割，直到图像不能再分割为止，获得分割字符的位置链表S1；步骤1.2，对S1中的字符进行化学公式中单/双键的检测：步骤1.2.1，对S1中的字符进行水平直线或垂直直线的检测，若检测的字符为水平直线或垂直直线，进行步骤1.2.2检测，若未检测到水平直线或垂直直线，则进行步骤1.3的检测；步骤1.2.2，若检测到字符a为水平直线，进行步骤1.2.2.1检测；若检测到字符a为垂直直线，进行步骤1.2.2.2检测；步骤1.2.2.1，检测字符a水平直线的上下两侧在距离水平直线上下边界第一阈值的范围内是否含有其他字符；步骤1.2.2.2，检测字符a垂直直线的左右两侧在距离垂直直线左右边界第一阈值的范围内是否含有其他字符；若步骤1.2.2.1或者步骤1.2.2.2中字符a两侧均未含有字符则进行步骤1.2.3水平单键或者垂直单键判断，若字符a两侧至少有一侧含有与字符a为同方向的直线，则进行步骤1.2.4水平双键或者垂直双键判断；否则接着对S1中的字符进行步骤1.2.1的检测；步骤1.2.3，对字符进行化学公式中水平单键或者垂直单键的判断：若字符a为水平直线，判断字符a宽度是否大于图像中一个字符的宽度，如果大于图像中一个字符的宽度，则判定为化学公式中的水平单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行水平单键检测，接着对S1中的字符进行步骤1.2.1的检测；若字符a为垂直直线，检测距离垂直直线上侧边界与下侧边界第二阈值的范围内是否含有字符，若两侧均含有字符，则判定为化学公式中的垂直单键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行垂直单键检测，接着对S1中的字符进行步骤1.2.1的检测；步骤1.2.4，若含有字符b与字符a为同方向的直线，对字符a与字符b进行水平双键或者垂直双键判断：若字符a为水平直线，则进行步骤1.2.4.1水平双键检测；若字符a为垂直直线，则进行步骤1.2.4.2垂直双键检测；步骤1.2.4.1，判断字符a的宽度是否大于图像中一个字符的宽度，若小于图像中一个字符的宽度，则停止对字符a进行水平双键检测，接着对S1中的字符进行步骤1.2.1的检测；若大于图像中一个字符的宽度，判断字符b的左右边界值与字符a的左右边界值是否近似相等，若满足条件，则判定为化学公式中的水平双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行水平双键检测，接着对S1中的字符进行步骤1.2.1的检测；步骤1.2.4.2，判断字符b的上下边界值与字符a的上下边界值是否近似相等，若字符a与字符b的上下边界值不近似相等，则停止对字符a进行垂直双键检测，接着对S1中的字符进行步骤1.2.1的检测；若两字符的上下边界值近似相等，则检测距离字符a上侧与下侧第二阈值的范围内是否含有字符，若两侧均含有字符，则判定为化学公式中的垂直双键，停止对图像的检测，判定图像为化学公式图像，否则停止对字符a进行垂直双键检测，接着对S1中的字符进行步骤1.2.1的检测；步骤1.3，对S1中的字符进行模板匹配检测：步骤1.3.1，对S1中的字符选取一定数量宽度高度均小于第三阈值的字符进行归一化处理；步骤1.3.2，通过欧式距离计算待检测字符与二值化的模板的相似距离d1、二值化的模板与待检测字符的相似距离d2；步骤1.3.3，对d1、d2中的最大值与设定的第四阈值进行对比，若小于设定的第四阈值，则判定该字符与模板字符匹配，否则判定该字符与模板字符不匹配；重复步骤1.3.2直到选取的字符全部检测完为止，分别统计与各个模板相匹配的字符个数；若没有与模板相匹配的字符，则进行步骤1.4的检测，否则进行步骤1.3.4检测；步骤1.3.4，分别对与各个模板相匹配的字符进行空间位置判断，化学公式中字符的空间位置满足：(1)字符不为上标或者下标；(2)相同字符之间以单键进行连接，无单键相连接的左右相邻的相同字符将进行合并为同一个字符，通过右侧下标数来展示相邻相同字符数；若满足化学公式图像中的空间位置条件，则判定图像为化学公式图像，停止对图像进行检测，若不满足条件，则继续进行步骤1.4检测；步骤1.3.4.1，判断匹配字符c是否为图像中其他字符的上标识或者下标识：步骤1.3.4.1.1，通过S1中分割出的字符的位置判断字符间的位置关系，选取S1中字符高度和宽度均大于第五阈值且字符高度大于匹配字符c高度的字符f，字符c的左边界与字符f的右边界之间的距离小于第六阈值；步骤1.3.4.1.2，判断字符c的上边界值、下边界值，若字符c的上边界值小于第七阈值，且字符c的下边界值位于第七阈值和第八阈值之间，则判定字符c为其他字符的上标识或者下标识，字符c设为无效匹配字符，否则重复步骤1.3.4.1.1、步骤1.3.4.1.2，直到S1中无符合条件的字符存在，若字符c不为其他字符的上标识或者下标识，则设为有效匹配字符；对所有的匹配字符进行步骤1.3.4.1判断，统计与各个模板字符相匹配的有效匹配字符的个数，若有效匹配字符的个数小于第九阈值，则进行步骤1.4检测，否则进行步骤1.3.4.2检测；步骤1.3.4.2，对相同的有效匹配字符进行左右相邻位置判断：步骤1.3.4.2.1，对相同的字符进行任意两个字符对比，若两字符上边界值近似相等，下边界值近似相等，且两字符之间的距离小于第十阈值，则进行步骤1.3.4.2.2检测，否则重复步骤1.3.4.2.1，直到将全部任意组合进行对比；步骤1.3.4.2.2，判断两字符的上下两侧是否有其他字符；若两字符上下两侧均无字符，则两字符位置处于左右相邻的位置，字符位置不符合化学公式中的字符空间位置，停止该部分的检测，进行步骤1.4检测，否则重复步骤1.3.4.2.1、步骤1.3.4.2.2，直到将全部任意组合进行对比；依次对与相同模板字符相匹配的有效匹配字符进行步骤1.3.4.2检测，若与相同模板字符相匹配的有效匹配字符之间的位置均不处于左右相邻的位置，则判定图像为化学公式图像，停止对图像的检测；否则，进行步骤1.4检测；步骤1.4，进行整幅图像像素点密度的检测判断：步骤1.4.1，选取图像宽度高度均大于第十一阈值的图像；步骤1.4.2，去除图像中S1内字符以外的杂点，统计图像的总的像素点数目；步骤1.4.3，对水平投影直方图进行整体像素密度分布检测:去掉水平投影直方图中像素点数目的最大值与最小值，求剩余像素点数目的中值mid，忽略水平投影直方图中像素点数目小于mid的像素点，对大于mid的像素点进行检测；若检测的像素点分布有规律或者像素点集中在一个区域内，则将图像判定为非化学公式图像,若检测的像素点分布没有规律且分布较为分散，则进行步骤1.4.4检测；步骤1.4.4，计算图像单位面积的像素点密度，如果像素点密度小于第十二阈值，则判定该图像为化学公式图像，若大于则进行步骤1.5的检测；步骤1.5，对S1中的字符进行苯环字符检测：步骤1.5.1，在整幅图像上选取N*N的点数，且相邻两点间的水平间距或者垂直间距均大于第十三阈值，若水平间距或者垂直间距小于第十三阈值，则将间距设为第十四阈值，重新计算选取的点数；步骤1.5.2，以选取的点为中心向上下左右四个方向进行检测，判断是否能检测到苯环的边界；若四个方向均能检测到苯环的边界则判定该点为有效点，否则判为无效点；步骤1.5.3，在图像中依次选取Tz*Tz的范围，统计该范围内有效点的个数，通过有效点的个数来判断是否含有苯环，若有效点的个数大于第十五阈值则判为化学公式，图像判定为化学公式图像，否则将图像判定为非化学公式图像。