[发明专利]模型训练方法、目标检测方法及其装置

权利要求书

1.一种基于多模态数据的模型训练方法，其特征在于，所述模型训练方法，包括：

获取不同模态的训练图像，其中，不同模态的训练图像基于不同的成像原理得到；

将所述不同模态的训练图像输入不同的目标检测模型，以获取每个目标检测模型的输出结果，其中，所述目标检测模型的数量与模态数量一致；

基于一个目标检测模型的输出结果以及其他目标检测模型的输出结果，获取该目标检测模型的互蒸馏损失；

按照所述目标检测模型的互蒸馏损失进行模型训练；

基于多个训练完成的目标检测模型，得到最终的目标检测模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述模型训练方法还包括：

基于一个目标检测模型的输出结果，获取该目标检测模型的自蒸馏损失；

按照所述目标检测模型的互蒸馏损失和自蒸馏损失进行模型训练。

3.根据权利要求2所述的模型训练方法，其特征在于，

所述基于一个目标检测模型的输出结果，获取该目标检测模型的自蒸馏损失，包括：

获取所述目标检测模型基于当前模型参数对所述训练图像的当前输出结果，以及所述目标检测模型基于历史模型参数对同一所述训练图像的历史输出结果；

基于所述当前输出结果和所述历史输出结果，生成所述目标检测模型的自蒸馏损失。

4.根据权利要求3所述的模型训练方法，其特征在于，

所述历史输出结果为所述目标检测模型在当前训练时刻之前的训练输出结果的平均值。

5.根据权利要求2所述的模型训练方法，其特征在于，

其中，所述目标检测模型包括特征提取器和目标检测器；

所述模型训练方法，还包括：

将第一模态的训练图像输入第一目标检测模型，获取第一特征提取器从所述第一模态的训练图像提取的第一特征图，以及第一目标检测器基于所述第一特征图的第一目标检测结果；

基于所述第一特征图获取所述第一特征提取器的自蒸馏损失，以及基于所述第一目标检测结果获取所述第一目标检测器的检测器损失；

将第二模态的训练图像输入第二目标检测模型，获取第二特征提取器从所述第二模态的训练图像提取的第二特征图，以及第二目标检测器基于所述第二特征图的第二目标检测结果；

基于所述第二特征图获取所述第二特征提取器的自蒸馏损失，以及基于所述第二目标检测结果获取所述第二目标检测器的检测器损失；

基于所述第一特征图和其他第二特征图确定所述第一特征提取器的互蒸馏损失；

基于所述第二特征图和其他第一特征图确定所述第二特征提取器的互蒸馏损失；

按照所述第一目标检测模型的自蒸馏损失、互蒸馏损失以及检测器损失对所述第一目标检测模型进行模型训练；

按照所述第二目标检测模型的自蒸馏损失、互蒸馏损失以及检测器损失对所述第二目标检测模型进行模型训练。

6.根据权利要求5所述的模型训练方法，其特征在于，

所述第一特征提取器和所述第二特征提取器的结构相同，分别包括若干特征提取块；

所述基于所述第一特征图和其他第二特征图确定所述第一特征提取器的互蒸馏损失，包括：

获取所述第一特征提取器中每一特征提取块输出的第一特征子图；

获取所述第二特征提取器中每一特征提取块输出的第二特征子图；

按照相同位置的特征提取块输出的第一特征子图和第二特征子图确定该位置的特征提取块的互蒸馏损失；

基于第一特征提取器中所有特征提取块的互蒸馏损失，确定所述第一特征提取器的互蒸馏损失。

7.根据权利要求1所述的模型训练方法，其特征在于，

其中，所述目标检测模型包括特征提取器和目标检测器；

所述将训练完成的目标检测模型进行融合，得到最终的目标检测模型，包括：

将若干目标检测模型的特征提取器的输出按照通道进行堆叠，输入一个统一的目标检测器，得到最终的目标检测模型；

将若干模态的训练图像输入最终的目标检测模型，以对所述最终的目标检测模型中的目标检测器进行训练。