[发明专利]基于RGBIR摄像头的单目结构光深度感知方法及装置

权利要求书

1.一种基于RGBIR摄像头的单目结构光深度感知装置，其特征在于：

该深度感知装置包括：

RGBIR图像产生模块，用于通过红外激光散斑编码投射器投射红外散斑图像或利用红外泛光源照射出红外图像，并通过RGBIR摄像头投射出可见光RGB图像；

RGBIR图像采集模块，用于通过单一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述可见光RGB图像一起采集，获得RGBIR RAW数据；

RGBIR图像分离模块，将采集到的RGBIR RAW数据进行图像分离，得到分离的RGB图像，红外散斑图像或红外图像；

RGBIR图像处理模块，将RGBIR图像分离模块分离出的RGB图像，红外散斑图像或红外图像分开进行图像处理；

选择输出模块是将经过RGBIR图像处理模块处理后的RGB图像，红外散斑图像或红外图像，进行选择输出。

2.如权利要求1所述的单目结构光深度感知装置，其特征在于：所述红外散斑图像进行的图像处理为预处理，图像旋转，块匹配，深度计算，后处理，三维点云生成。

3.如权利要求1所述的单目结构光深度感知装置，其特征在于：

所述选择输出模块的选择输出，进一步选择输出深度图，RGBD数据，或XYZRGB数据。

4.如权利要求2所述的单目结构光深度感知装置，其特征在于：

所述图像旋转具体为当摄像头进行旋转的时候，图像传感器传给所述RGBIR图像处理模块一个信号，使得图像处理时图像进行旋转，否则不旋转。

5.如权利要求1所述的单目结构光深度感知装置，其特征在于：

所述对红外图像进行的图像处理是红外图像增强操作，具体为：

分析加权直方图，剔除零单元，剩下的单元保持前后位置关系不变，构成一个集合{N(i)|1≤i≤K}，K为非零单元个数；

求出集合N(i)的极大值和最大值；

将上一步骤中的值构成另一个集合，{N(i)|1≤i≤L}，L为该集合极大值的个数；

接着对集合{N(i)|1≤i≤L}再进行极大值和最大值计算，得到一个新的集合{Z(j)|1≤j≤S}，S为这个新集合的个数，并且S＜L；

求出集合{Z(j)|1≤j≤S}的中值平台阈值

计算出新加权直方图：

其中P_t(k)是新直方图，P_r(k)是原来的直方图，数字图像的灰度级k出现的次数为n_k

P_r(k)＝n_k k＝0，1，2……255

计算累积直方图并得出灰度映射；

累积直方图计算公式为：

灰度映射计算公式为：Rt(k)是原有k灰度级对应的新灰度级。

6.一种基于RGBIR摄像头的单目结构光深度感知方法，其特征在于：

所述单目结构光深度感知方法包括：

步骤1：接通电源让电源驱动正常工作，使红外激光散斑编码投射器投射出红外散斑图像或利用红外泛光源照射出红外图像，并同时驱动RGBIR摄像头，使RGBIR摄像头投射出RGB彩色图；

步骤2：利用一RGBIR摄像头将所述红外散斑图像或所述红外图像，和所述RGB彩色图按帧采集，获得RGBIR RAW数据；

步骤3：将经过步骤2采集到的RGBIR RAW数据进行图像分离；

步骤4：将经过图像分离得到的RGB彩色图，红外散斑图像或红外图像分别进行图像处理；

步骤5：将经过图像处理后的RGB彩色图，红外散斑图像或红外图像进行选择性的输出。

7.如权利要求6所述的单目结构光深度感知方法，其特征在于：

步骤5中的选择性输出，进一步选择输出深度图，RGBD数据或者XYZRGB数据。