[发明专利]对实景图像中的字符进行识别的方法和设备

说明书

技术领域

本申请总体涉及光学字符识别OCR技术，具体涉及对实景图像中的字符进行识别的方法和设备。

背景技术

除了识别算法本身的性能以外，传统OCR技术对图像中字符的识别准确度还取决于待处理图像的复杂度、文字所在平面与图像呈现平面的平行度、以及图像中文字的平正程度。为了使识别准确度达到可接受的程度，通常要求待处理图像中仅包含一页文字，该页文字与图像呈现平面基本平行，且图像中的文字基本平正(即，非歪斜)摆放。

在实际应用中，用户可能希望对日常拍摄的实景图像中的文字(例如街拍场景中某一透视投影的标牌上的文字)进行光学识别，并可能希望对其进行文字处理。然而，由于日常拍摄的实景图像的构图通常较为复杂、实体对象较多、实景平面与图像呈现平面夹角较大(由于透视投影导致)、文字倾斜度较大，识别准确度难以达到令人满意的程度。

题为“GeneratingHi-ResDewarpedBookImages”的美国专利申请US20130242054A1提出了一种对书本立体图像去除扭曲的方法。该方法利用三维几何表面(例如圆柱表面)产生3D信息，而无需使用文本行或其他内容分析。具体地，在捕捉到立体图像后，首先根据立体照片产生三维几何平面。然后，计算相应的模型。接着，由模型对立体图像去除扭曲。

虽然上述方案能够提高对书页中文字的识别准确度，还是难于处理具有复杂场景的实体图像。

发明内容

鉴于现有技术的上述问题和缺陷，本发明的目的在于提出一种能够以较高的识别准确度对实景图像中的字符进行识别的方案。

根据本发明的第一方面，提供了一种对实景图像中的字符进行识别的方法，包括：获取实景图像和深度图，所述深度图中的每个像素表示与实景图像中的像素相对应的实景点到摄像机的距离；根据深度图，检测出实景图像中的实景平面；对检测到的平面进行校正，使得平面中的字符易于识别；以及对校正后的平面中的字符进行识别。

根据深度图检测出实景图像中的实景平面可以包括：基于深度图中相邻像素的深度差，检测实景图像中的连通体；利用检测出的连通体各像素的坐标及对应的深度值，进行平面拟合；滤除连通体的位于拟合平面以外的像素；以及确定包围连通体的剩余像素的凸多边形。如果相邻像素的深度差小于阈值，则可以将相邻像素确定为属于同一连通体。平面拟合可以采用最小二乘法。

所述方法还可以包括：基于检测出的连通体的面积、平均深度和/或在实景图像中的相对位置，滤除噪声连通体。

对检测到的平面进行校正可以包括：在三维空间中调整检测到的平面的倾斜姿态，使其处于与显示平面平行的状态；以及在显示平面所对应的二维空间中旋转经调整的平面，使其中的文字平正显示。

在三维空间中调整检测到的平面的倾斜姿态可以包括：基于平面拟合得到的平面参数，计算出使检测到的平面旋转为与显示平面平行的平面的透视变换矩阵；对实景图像的与检测到的平面相对应的部分的像素应用所述透视变换矩阵。

根据本发明的第二方面，提供了一种对实景图像中的字符进行识别的设备，包括：图像获取装置，用于获取实景图像和深度图，所述深度图中的每个像素表示与实景图像中的像素相对应的实景点到摄像机的距离；平面检测装置，用于根据深度图，检测出实景图像中的实景平面；平面校正装置，用于对检测到的平面进行校正，使得平面中的字符易于识别；以及字符识别装置，用于对校正后的平面中的字符进行识别。

所述平面检测装置可以包括：连通体检测单元，被配置为基于深度图中相邻像素的深度差，检测实景图像中的连通体；平面拟合单元，被配置为利用检测出的连通体各像素的坐标及对应的深度值，进行平面拟合；噪声过滤单元，被配置为滤除连通体的位于拟合平面以外的像素；以及确定单元，被配置为确定包围连通体的剩余像素的凸多边形。如果相邻像素的深度差小于阈值，则可以将相邻像素确定为属于同一连通体。平面拟合可以采用最小二乘法。

所述噪声过滤单元还可以被配置为：基于检测出的连通体的面积、平均深度和/或在实景图像中的相对位置，滤除噪声连通体。

所述平面校正装置可以包括：三维倾斜校正单元，被配置为在三维空间中调整检测到的平面的倾斜姿态，使其处于与显示平面平行的状态；以及二维歪斜校正单元，被配置为在显示平面所对应的二维空间中旋转经调整的平面，使其中的文字平正显示。