[发明专利]一种基于实例分割和图像修复的带遮挡行人重识别方法

权利要求书

1.一种基于实例分割和图像修复的带遮挡行人重识别方法，其特征在于，包括以下步骤：

获取待查图像并对待查图像进行实例分割和图像修复处理，得到修复后行人图像；

基于预训练的实例分割模型对行人图像库中的行人图像进行实例分割，得到分割后行人图像；

分别对修复后行人图像和分割后行人图像进行特征提取并将提取的特征进行相似性度量，检索得到同一行人的其他图像；

所述基于预训练的实例分割模型对待查图像进行实例分割处理，得到目标行人图像这一步骤具体包括：

将待查图像输入到预训练的实例分割模型，输出待查图像的置信度、类别、边界框和掩膜；

根据类别将部分掩膜作为遮挡物模块；

根据置信度和掩膜计算预测得分并根据预测得分将目标行人区域与干扰区域分离，得到目标行人图像；

所述根据置信度和掩膜计算预测得分并根据预测得分将目标行人区域与干扰区域分离，得到目标行人图像这一步骤，其具体包括：

根据置信度和掩膜计算预测得分并以得分最高的对应掩膜区域作为目标行人区域；

将待查图像中该目标行人区域以外的部分设置为黑色，得到只保留目标行人区域的目标行人图像；

所述预训练的图像修复网络的训练步骤包括：

构建行人图像训练集并从行人图像训练集中获取完整行人图像；

将遮挡物模板添加至完整行人图像，得到残缺行人图像；

将完整行人图像和残缺行人图像输入到生成对抗网络；

基于编码器对残缺行人图像进行处理，转换为隐空间内的特征；

基于解码器将隐空间内的特征恢复，得到训练用修复图像；

判别器根据完整行人图像对训练用修复图像进行判断，并根据判断结果对生成对抗网络进行参数调整，得到训练完成的图像修复网络；

所述分别对修复后行人图像和分割后行人图像进行特征提取并将提取的特征进行相似性度量，检索得到同一行人的其他图像这一步骤，其具体包括：

将修复后行人图像输入预训练的特征提取模块，得到第一特征表示；

将分割后行人图像输入预训练的特征提取模块，得到第二特征表示；

计算第一特征表示和第二特征表示的欧氏距离，进行相似性度量并排序，选择相似度高的图像作为检索结果，检索出同一行人的其他图像。

2.根据权利要求1所述一种基于实例分割和图像修复的带遮挡行人重识别方法，其特征在于，所述获取待查图像并对待查图像进行实例分割和图像修复处理，得到修复后行人图像这一步骤，其具体包括：

获取待查图像；

基于预训练的实例分割模型对待查图像进行实例分割处理，得到目标行人图像；

基于预训练的图像修复网络对目标行人图像进行图像修复，得到修复后行人图像。

3.根据权利要求2所述一种基于实例分割和图像修复的带遮挡行人重识别方法，其特征在于，所述预训练的实例分割模型采用深度卷积神经网络构建而成，包括卷积层、激活层、池化层和反卷积层。

4.根据权利要求3所述一种基于实例分割和图像修复的带遮挡行人重识别方法，其特征在于，所述预训练的特征提取模块的训练步骤包括：

从行人图像训练集中获取行人图像和对应的真实标签；

将行人图像输入到特征提取模块并得到特征表示，生成预测标签；

根据预测标签和对应的真实标签计算损失函数得到训练误差；

重复训练步骤直至训练误差小于预设值，得到训练完成的特征提取模块。