[发明专利]基于样本增强与实例感知的真实场景行人检索方法

说明书

本发明涉及一种基于样本增强与实例感知的真实场景行人检索方法，包括以下步骤：步骤S1：将待处理的图像通过检测模型，获得预测的边界框；步骤S2：将预测边界框送入样本增强组合SEC，同时将图像的真实边界框会送入SEC，通过SEC随机抖动后生成若干边界框；步骤S3：在重识别阶段，输入的图像被送入全粒度特征提取网络OSNet的1‑3层网络结构，提取整体图像特征；步骤S4：在整体图像特征与检测阶段产生的边界框送入特征裁剪模块RoIAlign，获得根据边界框从整体图像中裁剪后得到的行人特征；步骤S5：裁剪所得的行人特征被送入OSNet4‑5层网络结构；步骤S6：通过实例感知损失函数进行优化，利用无标签信息以监督特征学习。本发明实现更高效且更具判别性的行人检索。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于样本增强与实例感知的真实场景行人检索方法。

背景技术

行人检索是计算机视觉领域最近的一个热门话题，它整合了行人检测和行人重识别(Re-ID)，目的是从图像库中定位一个目标人物。与Re-ID任务相比，行人检索更接近实际应用，可用于视频监控、寻找丢失的人等。现有的行人检索任务由融合训练(端到端)或是相互独立训练(两阶段)的行人检测阶段和行人再识别(Re-ID)阶段组成，因此面临着效率低下且难以获得判别性特征等重大挑战。然而，一些工作要么转向性能受到任务冲突的限制的端到端框架，要么一直试图获得更准确的边界框。很少有两阶段的行人检索方法研究关注行人检索数据集中的样本特异性对训练细粒度Re-ID模型的影响，也很少有研究考虑如何以更有效的方式从边界框中获得更具判别性的行人特征，不能有效提高检测的精确度和准确度。

发明内容

有鉴于此，本发明的目的在于提供一种基于样本增强与实例感知的真实场景行人检索方法，实现更高效且更具判别性的行人检索。

为实现上述目的，本发明采用如下技术方案：

一种基于样本增强与实例感知的真实场景行人检索方法，包括以下步骤：

步骤S1：基于YOLOv5构建并训练检测模型，并将待处理的图像通过检测模型，获得预测的边界框；

步骤S2：将预测边界框送入样本增强组合SEC，对出现的假阳性边界框进行抑制；同时将图像的真实边界框会送入SEC，通过SEC随机抖动后生成若干边界框，这些边界框与预测边界框一起作为检测阶段产生的边界框，送入重识别阶段；

步骤S3：在重识别阶段，输入的图像被送入全粒度特征提取网络OSNet的1-3层网络结构，提取整体图像特征；

步骤S4：在整体图像特征与检测阶段产生的边界框送入特征裁剪模块RoIAlign，获得根据边界框从整体图像中裁剪后得到的行人特征；

步骤S5：裁剪所得的行人特征被送入OSNet4-5层网络结构，提取256维度特征；

步骤S6：通过实例感知损失函数进行优化，利用无标签信息以监督特征学习，获得最终检测结果。

进一步的，所述步骤S1具体为：

S11：将行人检索数据集中的边界框真实值数据与行人图像数据提取出来，构建行人检测数据集，使用YOLOv5检测模型在此数据集上训练，获得训练好的行人检测模型权重；

S12：在行人检索任务训练中，输入待处理的图像，将其进行固定图像大小调整预处理后，输入离线训练好的YOLOv5检测模型中，检测输入图像获得图中所有行人的预测边界框。

进一步的，所述步骤S2具体为：

S21：将预测边界框送入样本增强组合SEC，对出现的假阳性边界框进行抑制，对预测边界框进行置信度过滤处理；