[发明专利]一种自动驾驶场景语义分割方法、电子设备及可读介质

说明书

本发明公开了一种自动驾驶场景语义分割方法、电子设备及可读介质。本发明通过细化知识蒸馏中教师网络的高置信度知识，利用四个分支提取教师网络中间层知识：两个分支由两个二维卷积层组成分别提取水平和垂直的空间结构知识；第三个分支使用两层空洞卷积获取空间远程依赖知识；第四个分支使用多层感知器来提取教师网络学习到的通道分布知识。将细化后的知识作为真样本，学生网络中间特征图作为假样本，进行对抗训练。教师网络高效转移细化后的空间和通道知识给学生网络，提高知识蒸馏后最终得到的学生网络的模型性能。该模块仅在训练过程中进行优化，在推理过程中不参与计算，因此不会增大学生模型的参数量。

技术领域

本发明属于深度学习及机器视觉领域，具体涉及一种自动驾驶场景语义分割方法、电子设备及可读介质。

背景技术

在深度卷积神经网络(DNNs)的支持下，目标检测、语义分割等应用程序目前正在以非凡的速度发展。引入更多的参数通常会提高模型的准确性。语义分割是计算机视觉中的一项重要任务。目前，最先进的语义分割方法通常需要大量的计算资源来实现精确的语义分割，尽管目前的DNNs的性能显著提高，但是效率对于语义分割非常重要，巨大的内存成本和这些深度网络巨大的计算量使得很难将训练过的网络在实时应用中直接部署，如嵌入式系统和自动驾驶车辆。已经出现了模型压缩技术来解决这些问题，这些技术包括轻量级网络设计、修剪、量化和知识蒸馏。在这些方法中，知识蒸馏已被证明是获得轻量级模型的一种有效的方法，该技术通过遵循学生-教师范式简化了深度神经网络的训练，在该范式中，学生根据教师输出的软化版本受到惩罚。这些轻量级的模型保持了较高水准的准确性。知识蒸馏是一种很有吸引力的网络压缩方法，其灵感来自于知识从教师转移到学生。它本质上是一个紧凑的学生模型来近似于一个过度参数化的教师模型。因此，学生模型可以获得显著的表现改善，偶尔会超过教师。通过用紧凑的学生模型替换过度参数化的教师模型，可以实现高比例的模型的压缩。例如文献“FITNETS:HINTS FOR THIN DEEP NETS”使用的是对齐学生网络和教师网络特征映射的方法。文献“PAYING MORE ATTENTION TO ATTENTION:IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTIONTRANSFER”提出的方法迫使学生模型模仿强大的教师模型的注意力特征图。文献“Structured Knowledge Distillation for Dense Prediction”提出了点向蒸馏和局部成对蒸馏的策略，利用多种损失函数来优化学生网络。文献“Intra-class FeatureVariation Distillation for Semantic Segmentation”认为教师模型通常比学生模型学习更鲁棒的类内特征表示，因此提出学生模仿学生的特征分布的类内特征变化，使学生更好地模仿教师并提高分割精度。