[发明专利]一种帮助视障人士出行的装置

摘要

本发明提供一种帮助视障人士出行的装置，包括：深度图像计算单元，点云构建单元，地面检测单元，对象分割单元，用于去除地面及以下的点云，并基于聚类的方法进行点云分割，得到各个对象；对象跟踪单元，用于对各个对象进行跟踪，计算其在三位空间的尺寸、运动方向、运动轨迹和运动速度；对象识别单元，用于对于各个对象，投影得到图像区域，提取RGB图像，基于RGB图像进行对象识别；语音合成及输出单元，用于将对象的类型、位置、运动方向和速度合成语音，输出合成语音来通知视障人士。其为视障人士的自主决策提供了全面的信息，有效的帮助视障人士避开障碍物，提高视障人士的出行安全。

主权项

1.一种帮助视障人士出行的装置，包括：深度图像计算单元，用于连接双目相机，并基于双目相机采集到的左右彩色图像，计算得到深度图像，同步输出彩色图像和深度图像；点云构建单元，用于基于彩色图像和深度图像，构建点云(x,y,z,r,g,b)信息，即每个点包含3维空间坐标信息和3维彩色信息；地面检测单元，基于点云的3维空间坐标信息(x,y,z)进行平面检测，输出位置最低且包含点数最多的平面作为参考地面；对象分割单元，用于去除地面及以下的点云，并基于聚类的方法进行点云分割，得到各个对象；对象跟踪单元，用于对各个对象进行跟踪，计算其在三位空间的尺寸、运动方向、运动轨迹和运动速度；对象识别单元，用于对于各个对象，投影得到图像区域，提取RGB图像，基于RGB图像来进行对象识别；语音合成及输出单元，用于将对象的类型、位置、运动方向和速度合成语音，输出合成语音来通知视障人士；所述点云构建单元，用于基于彩色图像和深度图像，构建点云(x,y,z,r,g,b)信息，包括：获取彩色图像和深度图像，基于相机的投影逆变换得到3维空间的3D点云（x,y,z）；获取每个点云在彩色图像中对应像素的(r,g,b)信息，得到6D点云信息(x,y,z,r,g,b) ；所述地面检测单元，基于点云的3维空间坐标信息(x,y,z)进行平面检测，输出位置最低且包含点数最多的平面作为参考地面，包括：得到3D点云(x,y,z），在3D点云中进行平面检测获得多个平面；统计每个平面包含的3D点的个数point_number，3D点的高度值的平均值height_average，最大最小的x坐标：x_max和x_min、最大最小的z坐标:z_max和z_min；基于规则：point_number取最大值, height_average取最小值，(x_max ‑ x_min)*(z_max_z_min)取最大值，height_average取最小值，得到面积最大且位置最低的平面，以该平面作为参考地面。