[发明专利]一种基于RGB-D相机和立体声的视障人士通路预知眼镜

权利要求书

1.一种基于RGB-D相机和立体声的视障人士通路预知眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在眼镜本体上；其中两个相同的红外相机，一个彩色相机的光轴彼此平行，两个相同的红外相机分别固定在两个镜片的正上方，彩色相机和红外投射器均安装在两个红外相机之间；两个骨传导震动模块位于两个镜脚中间偏后处，贴合视障人士耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；红外投射器、两个红外相机、彩色相机、姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连；两个红外相机、彩色相机的光轴彼此平行、姿态角一致，且通过姿态角传感器实时地获取；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像；彩色相机实时地采集三维场景的彩色图像；USB集线器将两幅红外图像、一幅彩色图像、姿态角信息传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像；小型处理器对深度信息和姿态角信息进行处理，获取三维场景的高度图像；小型处理器对高度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给视障用户。

2.根据权利要求1所述的通路预知眼镜，其特征在于，通过以下方法实通路预知:

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR；

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)；

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR；

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；

(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right；

(6)采集彩色相机三维场景的彩色图像Color；

(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z；

(8)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器；

(9)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right；

(10)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}；在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值；

(11)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数；

(12)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；

(13)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left；

(14)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left；

(15)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color；

(16)根据深度图像Depth_color，彩色相机的焦距f_color和彩色相机的主点位置(c_COLOR-x,c_COLOR-y)，可计算出每一点在彩色相机坐标系下的三维坐标(X,Y,Z)；深度图像Depth_color中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

(18)根据每一点在世界坐标系下的坐标Y_w，即每一点到彩色相机佩戴位置的竖直高度，可获取高度图像Height；

(19)将高度图像Height从左到右分成K块，计算每一块高度图像Height_K的平均高度height_K；

(20)用K种不同音色的乐器的合奏来表示K块高度图像Height_K:各块分别用不同音色的乐器的发声来表示；给定视障用户的身高为H，不同块的高度图像的平均高度height_K与H之差和乐器响度Volume成反比，即：平均高度height_K与H越接近，说明该块图像内的实物离地面越近,路况越适合通行，响度Volume越大；平均高度height_K与H越远离，说明该块图像内的实物离地面越远,路况越不适合通行，响度Volume越小；每个方向的乐器声都为立体声；

(21)小型处理器将立体声信号传给骨传导耳机模块；

(22)骨传导耳机模块将立体声信号转为骨传导震动信号；

(23)骨传导震动模块将骨传导信号传递给视障人士。