[发明专利]基于目标检测和语义分割融合的障碍物检测方法

说明书

基于目标检测和语义分割融合的障碍物检测方法属于电子信息领域。该方法参考了卷积神经网络中优秀的轻量级网络框架和优秀的网络设计思路，设计了可在移动智能设备上实现实时目标检测和语义分割的端到端卷积神经网络DeSeNet，通过统一的数据标注格式和对优秀网络模块的合理利用，加强了DeSeNet网络的特征提取能力，成功将目标检测和语义分割任务结合起来，大大扩充了障碍物识别的范围，在保证正确率的情况下减少了网络参数，使得网络在移动智能设备上实时运行成为了可能，为诸如视障人士出行辅助设备的制造提供了技术支持。

技术领域

本发明属于电子信息领域，是一种基于目标检测和语义分割融合的实时障碍物检测方法。

背景技术

目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，具有重要的现实意义。然而针对视障人士等群体，这项技术并没有得到广泛参与，大部分盲人出行所使用的工具依然是传统盲杖和少量导盲犬。其中传统盲杖探测范围小，主要靠触觉提供信息，无法提供类似路标和信号灯等视觉信息，盲人在出行的种种不便并没有得到有效解决；而导盲犬成本高昂、数量少，且依旧无法理解人类社会丰富又复杂的符号和颜色信息。

随着深度学习和计算机视觉技术的发展，越来越多针对移动设备的轻量级深度神经网络相继被提出，可以实时理解复杂的视觉信息，例如通过人体姿态分析动作语义、通过目标检测来获取目标的位置和类别、通过语义分割在像素级别对物体进行分类。其中目标检测和语义分割都可以用来帮助盲人理解周围环境中的复杂信息。然而视障人士出行中所关注的目标主要包括地形、障碍物、指示牌和信号灯等，其尺寸和长宽比跨度非常大，例如马路牙子比例细长、在画面中有时占比很大，再加上倾斜角度下背景信息复杂，单纯依靠目标检测很难保证良好的识别准确率，且会影响其他类别的指标。如果使用语义分割识别所有类别，其训练数据标注起来也非常耗费人力物力。

目前将目标检测和语义分割融合的轻量级端到端深度神经网络还很少，为此，设计了基于目标检测和语义分割融合的障碍物检测网络DeSeNet，可以将目标检测和语义分割两种类型的数据集合并加载，并进行联合训练，扩充了可检测目标的类别数，提高了各尺寸目标的检测准确率，具有现实意义和良好应用前景。

发明内容

本发明为了解决上述目标检测方法中无法有效识别细长倾斜目标的问题，提出了一种基于目标检测和语义分割融合的轻量级障碍物识别方法。

本发明是通过以下技术方案实现的：

(1)基于PyTorch深度学习框架，实现对目标检测和语义分割数据集的混合加载与预处理，对数据集进行有效扩充，提高深度神经网络的泛化能力。

(2)基于卷积神经网络(Convolutional Neural Networks,CNN)，结合目前先进的适用于移动智能设备的轻量级深度网络结构，设计实现了同时进行目标检测和语义分割的端到端的深度神经网络DeSeNet。

本发明核心算法

(1)目标检测数据集和语义分割数据集混合加载

目标检测数据集标注格式参考YOLO目标检测标签的结构，每张图片对应一个txt文件，其中每一行代表图片中的一个目标的边界框，包含class_id(类别编号)、x(边界框中心点x轴坐标)、y(边界框中心点y轴坐标)、w(边界框宽度)和y(边界框高度)，这些值都是根据图片尺寸进行归一化。语义分割数据集标注格式设计为和目标检测数据集标注格式相统一，依旧采用txt文件存储每张图片的标注信息，区别是每一行除第一项类别标签之外，其余项均为x轴坐标和y轴坐标归一化后的值，每两项为一组确定一个点的坐标，点的个数不固定，这些点组成的封闭区域即为该类目标的范围。数据增强使用Mosaic方式，即拼接4幅图像，每个图像又经过随机平移、缩放、翻转、亮度和饱和度调整，极大地丰富了被检测物体的背景，有利于提高模型的泛化能力。