[发明专利]从自然场景图像中识别多言语、多字体文字的方法

说明书

技术领域

本发明属于计算机视觉和模式识别中的文字识别技术领域，具体涉及一种图像中定位文字区域和识别文字的方法，特别是从复杂自然场景图像中识别多字体(包括手写体和毛笔字)、多语言文字的方法.

背景技术

近年来，随着大量价格低廉、功能强大的手持照相机和智能手机的普及，人们可以轻松获得大量的数字图像。在这些图像中可能包含着大量的文字信息，例如出现在广告牌、建筑物的标识、路标、车牌以及路边的公告中。如果我们可以利用这种文字信息，就能使图像和景物理解技术的准确度得到大幅度提升。需要使用这种技术的应用包括车牌识别、自动地名识别、自动驾驶和导航技术等等。另外，现有的基于图像的搜索引擎技术基本上忽略了这种嵌入到图像中的文字，而文字却是一种非常直观的搜索线索，如果能够有效地识别嵌入到图像中的文字，则可以将嵌入的文字作为检索的重要信息来源，与原有的图像搜索引擎技术有效地结合。

导致对嵌入图像中的文字信息的未充分利用的原因是现有技术很难准确的定位和检测处于复杂场景图像中的文字。由于拍摄这些图像的手持设备本身或者拍摄场景的限制，包含这些文字的图像分辨率可能很低，或者可能因拍摄时的强光照射，图像会有一定的模糊，等等。这些因素会使传统的文字识别技术的准确度大大下降。另外，在自然场景图像中的文字本身可能表现为不同的语言、字体、颜色、大小等。而且，由于拍摄视角问题，文字可能还会呈现一定程度的变形，多个文字的排列方式也可能不是尚直线排列。所以，传统的从图像中识别文字的方法在上述情况中遇到了困难。

目前，传统的从图像中识别文字的方法可以归纳成三类：第一类是用阈值来分离文字(thresholding based)；第二类是根据纹理来判断(texture based)；第三类是按区域来区分(region based)。

第一类方法用一个全局或者局部的阈值来分离前景(文字)和背景。这种方法比较简单，但无法处理背景复杂的情况。同时，它们要求文字的颜色和背景对比强烈，前景颜色要求均一。在自然场景的背景中，这种方法表现不好，准确度和识别率均较低。

第二类方法利用文字和背景不同的特征来区分它们。这些特征包括在傅里叶变换域和小波变换中文字部分具有的特殊参数。这类方法需要对图像进行多次扫描，所以非常耗时，并且对变换之后得到的信息无法在后续处理中应用。这类方法也无法处理倾斜或者弯曲的文字。

第三类方法以区域为基础。其将具有同样特征的像素，比如说颜色，笔画宽度，组成一个组(CCs)。这些形成的组通过一些几何上的筛选，去掉一定不是文字的部分。然后将剩余的CCs组成文字。比较成功的方法有Stroke Width Transform。这种方法的缺点在于只能寻找一些笔画宽度变化不大的字体，比如说拉丁文和英文，而对例如中文字的象形文字的表现不佳。另外，它也无法检测毛笔字等文字形式。

还有一种检测方法使用特征对比技术。其建立了专门的特征库以检测图像中是否出现的一些特殊的特征。由于这种方法找到的特征只是针对一类言语中的一些特殊的文字，因此只针对一种语言才有效。

发明内容

(一)要解决的技术问题

本发明所要解决的技术问题是现有的从图像中识别文字的技术不能有效地识别处于复杂自然场景图像中文字的问题。

(二)技术方案

为了解决上述技术问题，本发明提出了一种从图像中识别文字的方法，该方法从图像中提取特征点，并获得所述特征点的特征描述子，并对所获得的特征描述子进行筛选，根据筛选后的特征描述子所描述的特征点的位置和尺度信息，基于特征点生长多个候选区域，使该每个候选区域中包含多个特征点。该方法还利用一个图片数据库训练得到一个分类器，利用该分类器对所述候选区域中的所有特征描述子进行分类，并根据该分类结果计算表示候选区域为文字区域的可能性参数，将所述可能性参数与一个阈值进行比较，以判断所述候选区域是否为文字区域，并对判断为文字区域的所述候选区域进行文字识别。

根据本发明的具体实施方式，该方法包括如下步骤：

步骤A、从待识别图像中提取特征点，并获得所述特征点的特征描述子，所述特征描述子是用于描述特征点的算子；

步骤B、对所获得的特征描述子进行筛选，筛除明显不包含在图像的文字区域中的特征点的特征描述子；

步骤C、根据筛选后的特征描述子所描述的特征点的位置和尺度信息，基于特征点生长多个候选区域，使该每个候选区域中包含多个特征点，并且对某个候选区域中任意一个特征点，必存在属于这个候选区域的另一个特征点，使这两个特征点的距离小于其中一个特征点的尺度。