[发明专利]基于新型神经网络的多任务场景语义理解模型及其应用

说明书

本发明提供了轻量、高效的神经网络模型，并基于该模型设计了多任务场景语义理解模型。神经网络包括五个阶段：阶段一采用mC.ReLU模块；阶段二先采用Max‑Pooling进行下采样，后采用多个Block‑B模块；阶段三采用多个Block‑B模块和多个Block‑D模块；阶段四采用多个Block‑A模块和多个Block‑C模块；阶段五采用多个Block‑A模块。多任务场景语义理解模型包括：神经网络模型、多级融合网络、多任务语义预测网络，神经网络模型和多级融合网络对不同的任务共享以作为共有的特征提取器。本发明可应用于自动驾驶场景感知领域，有助于实现道路障碍物检测、场景语义分割、实时多任务语义预测。

技术领域

本发明涉及场景语义理解领域，特别是涉及基于新型神经网络的多任务场景语义理解模型及其在自动驾驶系统中的应用。

背景技术

自动驾驶是三维场景理解的一个重要应用领域。三维场景理解技术应用在自动驾驶系统中，能够实现物体检测和场景语义分割等任务。基于神经网络的视觉识别模型已经在大量已有工作中被证明其具有优异的性能。然而，将神经网络应用于移动平台的视觉感知计算，目前仍然具有很大的挑战。

一方面，由于神经网络计算复杂度较高，流行的VGG、GoogleNet、ResNet-50等网络难以在嵌入式设备上实现实时的计算；另一方面，不同计算机视觉任务的训练数据和输出往往不同，在通常的做法中，需要对不同的任务分别设计不同的模型，例如：对于物体检测任务，有FasterR-CNN、R-FCN、SSD等代表模型；对于语义分割任务，有FCN等常用的网络模型。

然而，在实际的自动驾驶系统中，由于硬件计算资源有限，同时应用多个算法模型必定会带来过大的资源开销。因此，为了将三维场景理解方法应用于自动驾驶系统中，还需要进一步研究：如何设计能够满足移动平台的计算要求的、轻量且高效的网络模型，以及如何设计能够同时实现多个视觉感知任务的场景语义理解的算法模型。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于新型神经网络的多任务场景语义理解模型，用于解决现有技术中的上述问题。

为实现上述目的及其他相关目的，本发明提供一种神经网络模型，所述神经网络模型包括五个阶段：第一阶段采用mC.ReLU模块；第二阶段首先采用Max-Pooling进行第二次下采样，然后采用多个Block-B模块，其中，每个所述Block-B模块为采用对称卷积的mC.ReLU瓶颈结构；第三阶段采用多个Block-B模块和多个Block-D模块，其中，每个所述Block-D模块为采用非对称卷积的mC.ReLU瓶颈结构；第四阶段采用多个Block-A模块和多个Block-C模块，其中，每个所述Block-A模块为采用对称卷积的瓶颈结构，每个所述Block-C模块为采用非对称卷积的瓶颈结构；第五阶段采用多个Block-A模块。

为实现上述目的及其他相关目的，本发明提供一种多任务场景语义理解模型，包括：基 础网络、多级融合网络、及多任务语义预测网络，其中，所述基础网络和所述多级融合网络对不同的任务共享，以作为共有的特征提取器；所述基础网络为如上所述的神经网络模型；所述多级融合网络连接所述基础网络，用于将所述基础网络不同阶段输出的不同分辨率的特征进行融合；所述多任务语义预测网络连接所述多级融合网络，包括：似物性预测子网络RPN、物体检测子网络、及语义分割子网络。

为实现上述目的及其他相关目的，本发明提供一种自动驾驶场景感知的方法，包括：利用如上所述的多任务场景语义理解模型实现道路障碍物检测、场景语义分割、及实时多任务语义预测。