[发明专利]基于图像生成和共享学习网络的跨模态行人重识别方法

说明书

本发明公开了基于图像生成和共享学习网络的跨模态行人重识别方法，步骤1：跨模态图像生成网络的构建，通过交换外观特征生成跨模态行人图像以实现模态级别对齐；步骤2：跨模态图像生成网络损失函数的设计；步骤3：双路径共享学习网络的构建，将跨模态图像生成网络生成的红外伪图像与真实红外图像组合成一对输入图像，在线输入到双路径共享学习网络进行训练,提取具有区分性的中层特征信息，实现特征级别对齐；步骤4：共享学习损失函数的设计。步骤5：损失函数的联合优化，将跨模态图像生成网络和双路径共享学习网络进行联合训练，以端到端的方式优化总目标。本发明使网络提取到更加具有区分性的行人特征，提升了跨模态行人重识别的性能。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于图像生成和共 享学习网络的跨模态行人重识别方法。

背景技术

行人重识别，是视频监控、智能城市建设和多媒体应用中的一项 重要任务，其目的是在多个不重叠的摄像头获得的图像或视频序列中 匹配特定的人。给定来自一个相机视图的行人的查询图像，它尝试从 不相交的相机视图捕获的一组候选行人图库中识别相同的人的ID图 像。大部分的研究主要集中在单模态相机捕获的可见人物图像上，并 将行人重识别任务定义为单模态(可见-可见)匹配问题。单模态行 人重识别的主要挑战是不同视点、遮挡、姿态和复杂背景等引起的模 态内问题。大多数方法主要集中在深度特征表示学习或深度度量学习。 前者的目标是学习一个鲁棒和区别性的特征表示，后者的目标是学习 一个距离度量来处理上述匹配问题，这两种方法都取得了令人鼓舞的 成功。

然而，单模态行人重识别在光照条件较差时，即光线较弱或不可 用时，受到很大的限制。例如，在有监视和刑事侦查的情况下，大多 数犯罪嫌疑人选择在白天收集信息，晚上进行犯罪行为。由于公众安 全需求的迫切和红外监控摄像机数量的不断增加，跨模态(红外-可 见光)行人重识别是智能监控系统中必不可少的一项技术，具有重要 的研究影响和现实意义。

与只有模态内差异问题的单模态行人重识别任务不同，IV-ReID 还遇到了由于不同光谱相机成像过程不同而导致的模态间差异问题。 如图1所示，红外图像和可见光图像具有本质上的差异性和异质性， 并且具有不同的波长范围。因此，跨模态图像既面临着模态内差异的 挑战，也面临着模态间差异的挑战，这意味着跨模态行人重识别还有 很长的路要走。为了解决上述问题，现有研究大多集中于通过单一的 特征级别约束来弥合红外图像与可见光图像之间的差距。基本的思想 都是通过将不同的模态嵌入到相同的特征空间来学习模态共享表示。 然而，单一的特征级别约束是有上限的，无法有效解决跨模态行人重 识别遇到的问题。并且，在这些方法中都采用具有共享全连接层的双 流网络来学习跨模态特征，而忽略了特征提取层中的共享信息。

近些年，随着生成式对抗网络的快速发展，大多数研究尝试着利 用图像翻译模型将图像从一种形态转换为另一种形态，生成模型所生 成的图像必须具有良好的质量和足够的多样性，以弥补红外图像和可 见光图像之间的模态差异。因此，如何达到模态级别和特征级别的对 齐是当下需要解决的技术问题。

发明内容

针对现有技术不足，本发明的目的在于提供基于图像生成 和共享学习网络的跨模态行人重识别方法，首先，提出了一个跨 模态生成和共享学习联合框架，该框架主要由一个跨模态图像生成网 络和一个双路径共享学习网络组成，跨模态图像生成网络可以通过分 解行人的模态特征和外观特征，生成多样的跨模态图像，在保持特定 身份一致性的同时实现模态级别对齐，在双路径共享学习网络中，采 用参数共享模块去获取更具区分性的行人特征信息，实现特征级别对 齐。将两个子网络级联并以端到端方式进行优化，从而使网络提取到 更加具有区分性的行人特征，有效的提升了跨模态行人重识别的性能。

本发明提供如下技术方案：

基于图像生成和共享学习网络的跨模态行人重识别方法，包 括以下步骤：