[发明专利]模型训练方法及装置、检测方法及装置、设备及存储介质

说明书

本公开涉及一种模型训练方法及装置、检测方法及装置、设备及存储介质，其中，模型训练方法包括：获取样本图像中物体的真实物体信息；利用目标检测模型中的解码器，根据样本图像对应的初始参考位置坐标以及自然语言描述，确定样本图像的对应的预测目标查询向量，其中，预测目标查询向量用于确定样本图像中物体的预测物体信息；基于真实物体信息和预测物体信息的差异调整目标检测模型的参数，直至差异小于预设阈值。本公开能够加快目标检测模型收敛，从而实现提高模型训练效率、降低模型训练成本的效果。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种模型训练方法及装置、检测方法及装置、设备及存储介质。

背景技术

目标检测是计算机视觉中最基本的任务之一，随着深度学习的发展，通过目标检测模型进行目标检测已成为热门研究方向，其中，DETR(DEtection TRansformer)由于将Transformer引入到了目标检测任务中，因此，可以去除锚点生成组件、非极大值抑制组件等，使得目标检测模型更简洁。

但是，现有的DETR的训练方法，收敛速度极慢，需要很多次迭代才能收敛得到一个较好的结果，该收敛缓慢的问题极大增加了训练成本。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法及装置、检测方法及装置、设备及存储介质。

根据本公开的一方面，提供了一种模型训练方法，包括：

获取样本图像中物体的真实物体信息；

利用目标检测模型中的解码器，根据样本图像对应的初始参考位置坐标以及自然语言描述，确定样本图像的对应的预测目标查询向量，其中，预测目标查询向量用于确定样本图像中物体的预测物体信息；

基于真实物体信息和预测物体信息的差异调整目标检测模型的参数，直至差异小于预设阈值。

根据本公开的另一方面，提供了一种检测方法，包括：

获取待检测图像、以及待检测图像对应的自然语言描述；

将待检测图像、以及待检测图像对应的自然语言描述输入训练好的目标检测模型，得到待检测图像中物体的预测物体信息，其中，目标检测模型通过上述模型训练方法训练得到。

根据本公开的另一方面，提供了一种模型训练装置，包括：

第一获取模块，用于获取样本图像中物体的真实物体信息；

第一确定模块，用于利用目标检测模型中的解码器，根据样本图像对应的初始参考位置坐标以及自然语言描述，确定样本图像的对应的预测目标查询向量，其中，预测目标查询向量用于确定样本图像中物体的预测物体信息；

调整模块，用于基于真实物体信息和预测物体信息的差异调整目标检测模型的参数，直至差异小于预设阈值。

根据本公开的另一方面，提供了一种检测装置，包括：

第二获取模块，用于获取待检测图像；

第二确定模块，用于将待检测图像、以及待检测图像对应的自然语言描述输入训练好的目标检测模型，得到待检测图像中物体的预测物体信息，其中，目标检测模型通过上述的模型训练方法训练得到。

根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述模型训练方法，或者执行根据上述检测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据上述模型训练方法，或者执行根据上述检测方法。