[发明专利]深度引导变形器的单目三维目标检测模型训练方法及装置

权利要求书

1.一种深度引导变形器的单目三维目标检测模型训练方法，其特征在于，包括：

根据训练集中各个单目三维图像的三维包围框中心点坐标，确定各个所述单目三维图像的原始深度图的绝对深度值，并根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型；

通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，并通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征；

通过预设锚框提取各个所述高阶图像特征的候选特征区域，得到各个建议框，并通过预设算法计算各个所述建议框的损失值；

根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型；

其中，所述根据各个所述三维包围框中心点坐标和各个所述绝对深度值训练得到第一模型，包括：

通过归一化流将各个所述三维包围框中心点坐标的深度分布以及各个所述绝对深度值的深度分布进行拟合训练，经过预设次迭代拟合训练后，得到所述第一模型；

所述通过所述第一模型对各个所述原始深度图进行变换，得到各个目标深度图，包括：

通过所述第一模型对各个所述原始深度图进行变换，得到各个所述原始深度图的各个新的深度图；

将各个所述原始深度图的各个新的深度图，确定为各个所述原始深度图的各个目标深度图，其中，通过所述第一模型中的归一化流方法对各个所述原始深度图，将深度先验引入深度图；

所述通过移窗视觉变形器网络将各个所述目标深度图及其单目三维图像进行融合，得到各个高阶图像特征，包括：

通过所述移窗视觉变形器网络的层级化提取各个所述目标深度图的查询特征，以及通过所述移窗视觉变形器网络的层级化各个所述目标深度图对应的单目三维图像的键特征；

通过所述移窗视觉变形器网络的交叉注意力机制将各个所述查询特征和各个所述键特征进行融合，得到各个注意力特征；

通过所述移窗视觉变形器网络的窗口不同位置的深度关系，对各个所述注意力特征进行加权，得到所述高阶图像特征。

2.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述通过预设算法计算各个所述建议框的损失值，包括：

通过所述移窗视觉变形器网络对各个所述建议框进行预测，得到各个所述建议框的物体类别概率；

结合交叉熵损失函数和各个所述物体类别概率，计算各个所述建议框与真实类别的各个第一损失值；

确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值。

3.根据权利要求2所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述确定各个所述建议框的各维度参数，并结合预设损失函数计算出各个所述建议框与各维度真实框之间的第二损失值，包括：

通过所述移窗视觉变形器网络的回归建议框确定各个所述建议框的二维参数和三维参数；

通过SmoothL1损失函数结合各个所述二维参数，计算出各个所述建议框与二维真实框的二维损失值；

通过所述SmoothL1损失函数结合各个所述三维参数，计算出各个所述建议框与三维真实框的三维损失值；

将各个所述二维损失值和各个所述三维损失值，确定为各个所述第二损失值。

4.根据权利要求1所述的深度引导变形器的单目三维目标检测模型训练方法，其特征在于，所述根据各个所述损失值计算全局损失值，并结合预设模型训练方法进行模型训练，得到单目三维目标检测模型之后，还包括：

通过预设单目深度估计模型提取待检测单目三维图像的原始深度图；

通过所述第一模型对所述待检测单目三维图像的原始深度图进行变换，得到所述待检测单目三维图像的目标深度图；

将所述待检测单目三维图像及其目标深度图归一化为预设大小，得到归一化后的待检测单目三维图像及其目标深度图；

通过所述单目三维目标检测模型对所述归一化后的待检测单目三维图像及其目标深度图进行目标检测，得到目标检测结果；

将所述目标检测结果与预设测试数据标签进行对比，根据对比结果确定所述单目三维目标检测模型的目标检测性能。