[发明专利]对实景图像中的字符进行识别的方法和设备

权利要求书

1.一种对实景图像中的字符进行识别的方法，包括：

获取实景图像和深度图，所述深度图中的每个像素表示与实景图像中的像素相对应的实景点到摄像机的距离；

根据深度图，检测出实景图像中的实景平面；

对检测到的平面进行校正，使得平面中的字符易于识别；以及

对校正后的平面中的字符进行识别。

2.根据权利要求1所述的方法，其中，根据深度图检测出实景图像中的实景平面包括：

基于深度图中相邻像素的深度差，检测实景图像中的连通体；

利用检测出的连通体各像素的坐标及对应的深度值，进行平面拟合；

滤除连通体的位于拟合平面以外的像素；以及

确定包围连通体的剩余像素的凸多边形。

3.根据权利要求2所述的方法，其中，如果相邻像素的深度差小于阈值，则将相邻像素确定为属于同一连通体。

4.根据权利要求2所述的方法，其中，平面拟合采用最小二乘法。

5.根据权利要求2所述的方法，还包括：基于检测出的连通体的面积、平均深度和/或在实景图像中的相对位置，滤除噪声连通体。

6.根据权利要求1或2所述的方法，其中，对检测到的平面进行校正包括：

在三维空间中调整检测到的平面的倾斜姿态，使其处于与显示平面平行的状态；以及

在显示平面所对应的二维空间中旋转经调整的平面，使其中的文字平正显示。

7.根据权利要求6所述的方法，其中，在三维空间中调整检测到的平面的倾斜姿态包括：

基于平面拟合得到的平面参数，计算出使检测到的平面旋转为与显示平面平行的平面的透视变换矩阵；

对实景图像的与检测到的平面相对应的部分的像素应用所述透视变换矩阵。

8.根据权利要求1或2所述的方法，其中，所述实景图像是彩色图像或灰度图像。

9.一种对实景图像中的字符进行识别的设备，包括：

图像获取装置，用于获取实景图像和深度图，所述深度图中的每个像素表示与实景图像中的像素相对应的实景点到摄像机的距离；

平面检测装置，用于根据深度图，检测出实景图像中的实景平面；

平面校正装置，用于对检测到的平面进行校正，使得平面中的字符易于识别；以及

字符识别装置，用于对校正后的平面中的字符进行识别。

10.根据权利要求9所述的设备，其中，所述平面检测装置包括：

连通体检测单元，被配置为基于深度图中相邻像素的深度差，检测实景图像中的连通体；

平面拟合单元，被配置为利用检测出的连通体各像素的坐标及对应的深度值，进行平面拟合；

噪声过滤单元，被配置为滤除连通体的位于拟合平面以外的像素；以及

确定单元，被配置为确定包围连通体的剩余像素的凸多边形。

11.根据权利要求10所述的设备，其中，如果相邻像素的深度差小于阈值，则将相邻像素确定为属于同一连通体。

12.根据权利要求10所述的设备，其中，平面拟合采用最小二乘法。

13.根据权利要求10所述的设备，其中，所述噪声过滤单元还被配置为：基于检测出的连通体的面积、平均深度和/或在实景图像中的相对位置，滤除噪声连通体。

14.根据权利要求9或10所述的设备，其中，所述平面校正装置包括：

三维倾斜校正单元，被配置为在三维空间中调整检测到的平面的倾斜姿态，使其处于与显示平面平行的状态；以及

二维歪斜校正单元，被配置为在显示平面所对应的二维空间中旋转经调整的平面，使其中的文字平正显示。

15.根据权利要求14所述的设备，其中，所述三维倾斜校正单元包括：

透视变换矩阵计算子单元，被配置为基于平面拟合得到的平面参数，计算出使检测到的平面旋转为与显示平面平行的平面的透视变换矩阵；

透视变换矩阵应用子单元，被配置为对实景图像中与检测到的平面相对应的部分的像素应用所述透视变换矩阵。

16.根据权利要求9或10所述的设备，其中，所述实景图像是彩色图像或灰度图像。