[发明专利]深度引导变形器的单目三维目标检测模型训练方法及装置

说明书

本申请提供一种深度引导变形器的单目三维目标检测模型训练方法及装置，该方法包括：根据各个三维包围框中心点坐标及其绝对深度值训练得到第一模型；通过第一模型变换各个原始深度图，得到各个目标深度图，通过移窗视觉变形器网络融合各个目标深度图及其单目三维图像，得到各个高阶图像特征；通过预设锚框提取各个高阶图像特征的各个建议框，通过预设算法计算各个建议框的损失值；根据各个损失值计算全局损失值，结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。本申请实施例提供的深度引导变形器的单目三维目标检测模型训练方法得到携带深度信息的单目三维目标检测模型，通过单目三维目标检测模型提升了单目三维目标的检测性能。

技术领域

本申请涉及计算机视觉和模式识别技术领域，尤其涉及一种深度引导变形器的单目三维目标检测模型训练方法及装置。

背景技术

目标检测是计算机视觉中一项基本而重要的任务，而三维目标检测在机器人感知、混合现实和自动驾驶领域有着非常重要的应用。大多数现有的三维物体检测方法依靠激光雷达传感器提供深度信息，然而激光雷达成本较高、寿命较短，限制了其在工业中的应用。与之相比，相机成本低、寿命长，且易于安装，因此单目三维目标检测技术十分受到关注。但由于单目三维图像中天然缺乏深度信息，给单目三维目标检测任务带来了巨大的挑战，如何提升单目三维目标的检测性能成为现阶段需要研究的问题。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请提供一种深度引导变形器的单目三维目标检测模型训练方法及装置，旨在训练出携带有深度信息的单目三维目标检测模型，提升单目三维目标的检测性能。

第一方面，本申请提供一种深度引导变形器的单目三维目标检测模型训练方法，包括：

根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；

通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；

通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；

根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型。

在一个实施例中，所述通过预设算法计算各个所述建议框的损失值，包括：

通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；

结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；

确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。

所述确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值，包括：

通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；

通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；

通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；

将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。