[发明专利]基于3D点云双边扩增算法的视觉辅助系统

说明书

本发明涉及一种基于3D点云双边扩增算法的视觉辅助系统，属于图像处理技术领域，其中数据采集装置将采集的室内场景图像输入至数据生成装置；数据生成装置生成3D点云数据并输出至物体定位及分类装置；物体定位及分类装置利用基于双边扩增算法的语义分割模型对3D点云数据进行语义分割，将得到的语义分割结果与模板库进行点云配准，识别出目标物体，计算出位姿和物体抓取点，输出最终的结果；语音合成及播放装置将该结果生成对应的文字信息和音频信息，设置计时提醒器对音频信息进行播放，将文字信息反馈至监护人员绑定的设备。本发明利用基于双边扩增算法的语义分割模型进行分类，提升了视觉辅助系统物体分类的准确率和视觉辅助系统的性能。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于3D点云双边扩增算法的视觉辅助系统。

背景技术

我国大约有8500万残疾人，其中超1700万是视障人群，视觉的缺失使他们无法完整的感知外部信息。一直以来，研究人员都致力于设计提高盲人生活质量的辅助设备，其应用场景多为室外出行环境。但对于视障群体而言，单独处于室内环境的时间更长一些，当所在环境较为复杂时，寻找特定的目标就变得尤为困难，单纯依靠其他感知很容易带来意外伤害，如烧水壶、剪刀等危险物品。如何提高盲人独自在家的安全系数，以及更好的辨别和拿取物品成为了一个待解决的问题。

为了解决这一问题，人们提出了视觉辅助系统，视觉辅助系统能够获取周围环境的信息，并以语音的方式反馈到用户，使盲人能够在室内环境中更好地生活。目前，部分视觉辅助系统采用基于深度学习的点云语义分割模型进行物品分类，但是没有充分考虑点云的局部结构，特别是当点紧密分布在不同语义类别边界附近时，不可避免的产生点的表示偏差。此外，鉴于点云稀疏、无序的特性，直接利用卷积核进行特征提取造成了大量计算和内存消耗，输出的特征图在一定程度上丢失了全局上下文信息。因此，在过往的研究中，采用基于深度学习的点云语义分割模型往往存在对细节处理和对复杂场景的泛化能力弱，分类准确率以及系统性能低的问题。

发明内容

为解决目前视觉辅助系统存在模型对于细节处理和对复杂场景的泛化能力弱、分类准确率以及系统性能低的问题，提供一种基于3D点云双边扩增算法的视觉辅助系统，该视觉辅助系统利用基于双边扩增算法的语义分割模型进行分割，语义分割模型能够通过合理分布的局部邻域，相互学习偏移量增强点的局部信息，进而提高模型在细节处理和对复杂场景的泛化能力，提升视觉辅助系统物体分类的准确率和视觉辅助系统的性能。

为实现上述目的，本发明采取如下的技术方案：

一种基于3D点云双边扩增算法的视觉辅助系统，包括数据采集装置、数据生成装置、物体定位及分类装置和语音合成及播放装置；

数据采集装置多方位地采集室内场景图像，并输入至数据生成装置；

数据生成装置将输入的图像数据转化生成3D点云数据，输出至物体定位及分类装置；

物体定位及分类装置利用基于双边扩增算法的语义分割模型对3D点云数据进行语义分割，将得到的语义分割结果与模板库进行点云配准，识别出目标物体，并计算出在世界坐标系下的位姿和物体抓取点，输出最终的结果，该结果包括物体类别和以人所在位置为中心的物体距离；

语音合成及播放装置将物体定位及分类装置输出的结果生成对应的文字信息和音频信息，并设置计时提醒器对音频信息进行播放，同时将文字信息反馈至监护人员绑定的设备；

基于双边扩增算法的语义分割模型包括：

局部邻域模块，对输入的3D点云数据使用下采样得到具有代表性的关键点，再以关键点为中心通过八叉近邻查找算法取得均匀的邻域点，构建出一个初步的局部环境，并将点云特征分为几何信息和特征信息；

特征提取器，用于从特征信息中捕捉初步的语义背景，并输入至双边扩增模块中的第一个增强块；