[发明专利]模型训练方法、目标检测方法及其装置

说明书

本申请公开了一种模型训练方法、目标检测方法及其设备，该方法包括：获取不同模态的训练图像，其中，不同模态的训练图像基于不同的成像原理得到；将不同模态的训练图像输入不同的目标检测模型，以获取每个目标检测模型的输出结果，其中，目标检测模型的数量与模态数量一致；基于一个目标检测模型的输出结果以及其他目标检测模型的输出结果，获取该目标检测模型的互蒸馏损失；按照目标检测模型的互蒸馏损失进行模型训练；基于多个训练完成的目标检测模型，得到最终的目标检测模型。本申请的目标检测方法引入多模态数据，并利用模态间的互蒸馏进行模型训练，能够有效提高特征质量，优化训练流程，提高模型鲁棒性。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种模型训练方法、目标检测方法及其装置。

背景技术

随着经济的发展和城市化的加速，城市人口规模不断扩大，如何对公共场所中的人员进行有序管理逐渐成为一个难题，对人员进行智能跟踪无疑是最有效的途径之一。

人员检测任务目的在于确定人员的位置和大小，从而用于后续目标轨迹分析。目前，硬件技术和深度学习技术在不断革新，人员跟踪的应用场景也在不断拓宽，在军事领域可以应用于战场侦测，在安防领域可以应用于疑犯定位，在城市交通领域可以应用于自动驾驶，同时对于规范交通减少车辆事故，提高车辆流动效率等方面都有着非常重要的作用，行人跟踪也因此成为研究热点。一个实用的人员跟踪系统必须具备全时段检测这一特点，但是目前绝大多数视觉系统都基于可见光。

仅使用单模态数据，如可见光数据，在场景复杂的情况下，收集到的信息有限。由于单模态数据能够提供的信息有限，导致人员检测和人员跟踪的准确性收到限制，同样对相关模型的训练也造成一定的影响，降低模型的鲁棒性。

发明内容

本申请提供一种模型训练方法、目标检测方法及其设备。

为解决上述技术问题，本申请提供的第一个技术方案为：提供一种模型训练方法，所述模型训练方法，包括：

获取不同模态的训练图像，其中，不同模态的训练图像基于不同的成像原理得到；

将所述不同模态的训练图像输入不同的目标检测模型，以获取每个目标检测模型的输出结果，其中，所述目标检测模型的数量与模态数量一致；

基于一个目标检测模型的输出结果以及其他目标检测模型的输出结果，获取该目标检测模型的互蒸馏损失；

按照所述目标检测模型的互蒸馏损失进行模型训练；

基于多个训练完成的目标检测模型，得到最终的目标检测模型。

其中，所述模型训练方法还包括：

基于一个目标检测模型的输出结果，获取该目标检测模型的自蒸馏损失；

按照所述目标检测模型的互蒸馏损失和自蒸馏损失进行模型训练。

其中，所述基于一个目标检测模型的输出结果，获取该目标检测模型的自蒸馏损失，包括：

获取所述目标检测模型基于当前模型参数对所述训练图像的当前输出结果，以及所述目标检测模型基于历史模型参数对同一所述训练图像的历史输出结果；

基于所述当前输出结果和所述历史输出结果，生成所述目标检测模型的自蒸馏损失。

其中，所述历史输出结果为所述目标检测模型在当前训练时刻之前的训练输出结果的平均值。

其中，所述目标检测模型包括特征提取器和目标检测器；

所述模型训练方法，还包括：

将第一模态的训练图像输入第一目标检测模型，获取第一特征提取器从所述第一模态的训练图像提取的第一特征图，以及第一目标检测器基于所述第一特征图的第一目标检测结果；