[发明专利]一种基于RGB-D相机和立体声的视障人士障碍物预警系统及方法

摘要

本发明公开了一种基于RGB‑D相机和立体声的视障人士障碍物预警系统及方法。该方法利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个RGB相机采集图像，小型处理器对采集的图像进行处理，计算获得深度图像，并对深度图像进行分块，将分块获得的深度信息，转化为立体声信号，最后利用骨传导耳机传递给视障人士进行辅助，可以很好地满足视障人士障碍物预警的要求。

主权项

1.一种基于RGB‑D相机和立体声的视障人士障碍物预警系统，其特征在于，所述系统包含一个红外投射器，两个相同的红外相机，一个彩色相机，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；红外投射器、两个红外相机、彩色相机通过USB集线器与小型处理器相连，电池模块与小型处理器相连；彩色相机和红外投射器位于两个红外相机之间；两个红外相机、彩色相机的光轴彼此平行；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像，彩色相机实时地采集三维场景的彩色图像；USB集线器将两幅红外图像和一幅彩色图像传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像；小型处理器对深度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给视障用户，实现障碍物预警；所述系统的障碍物预警方法，包括以下步骤：(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR‑x,c_IR‑y)，两个红外相机的基线距离B_IR‑IR；(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR‑x,c_COLOR‑y)；(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR‑COLOR；(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right；(6)彩色相机采集三维场景的彩色图像Color；(7)USB集线器将两幅红外图像IR_left和IR_right，一幅彩色图像Color传给小型处理器；(8)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right；(9)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}；在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值；(10)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数；(11)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；(12)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left；(13)根据两个红外相机的焦距f_IR和基线距离B_IR‑IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left；(14)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR‑x,c_IR‑y)，彩色相机的焦距f_color和主点位置(c_COLOR‑x,c_COLOR‑y)，以及左红外相机和彩色相机的基线距离B_IR‑COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color；(15)将彩色相机视场的深度图像Depth_color从左到右分成K块，计算每一块深度图像Depth_K的平均深度depth_K；(16)用不同音色的乐器的合奏来表示K块深度图像Depth_K：不同块的深度图像Depth_K用不同音色的乐器发声；乐器声音的响度Volume与每一块图像的平均深度depth_K成反比，即：障碍物越近，平均深度depth_K越小，响度Volume越大；障碍物越远，平均深度depth_K越大，响度Volume越小；每个方向的乐器声都为立体声；(17)小型处理器将立体声信号传给骨传导耳机模块；(18)骨传导耳机模块将立体声信号转为骨传导震动信号；(19)骨传导震动模块将骨传导震动信号传递给视障用户。