[发明专利]基于异构层次化注意机制的跨模态行人再识别方法及系统

权利要求书

1.基于异构层次化注意机制的跨模态行人再识别方法，其特征是，包括：

提取行人图像特征及文本描述特征，并分别作为行人图像通道和文本描述通道的初始全局特征；

建立异构层次化的注意模型，该模型利用双向跨模态细粒度匹配注意机制以及上下文指导的局部特征聚合注意机制，同时对行人图片特征和文本描述特征进行增强；

利用两阶段训练方式对异构层次化的注意模型进行训练，其中，利用行人类别监督信息在第一阶段进行初步训练，并在此基础上利用跨模态样本匹配行人类别监督信息进行第二阶段的训练，利用训练好的模型进行行人再识别；所述异构层次化的注意模型针对所接收的数据进行双向跨模态细粒度匹配处理，具体包括：

取一个图像区域对应的特征向量，利用该特征向量与所有的名词短语对应的特征向量计算相似度，并对其距离值进行自然对数为底的幂次运算，而后对于得到的m个值进行归一化，即可得到每个名词短语与该图像区域的相似程度归一化系数，利用该系数对于m个名词短语的特征向量进行注意机制加权，即可得到注意图像区域的增强文本特征；

对于每一个图像区域对应的特征向量进行相同处理过程，即可得到n个增强短语特征；

利用所有图像区域特征与某一名词短语特征向量进行跨模态注意机制，得到名词短语特征向量的增强图像特征；

对每一个名词短语特征向量进行相同处理过程，即可得到m个增强图像区域特征；

所述异构层次化的注意模型针对所接收的数据还进行上下文指导的局部特征聚合处理步骤：

利用图像局部区域特征与初始全局图像特征计算相似度，并对n个相似度值进行归一化，作为权值来加权增强名词短语特征，得到增强文本全局表达；

利用文本名词短语特征与初始全局文本描述特征计算相似度，并对m个相似度值进行归一化，作为权值来加权增强图像部分特征，得到增强图像全局表达；

将初始全局特征向量和异构层次化的注意模型输出的增强全局特征向量进行串联，分别得到全局图像特征和全局文本描述特征。

2.如权利要求1所述的基于异构层次化注意机制的跨模态行人再识别方法，其特征是，提取行人图像特征时，采用深度卷积神经网络框架来提取行人图像特征，具体的步骤为：

将训练数据集中的图片数据归一化成统一的大小，然后对于归一化后的数据，随机的采取镜像的处理方式，进行图像数据增强；

将增强后的图像数据送入预训练好的某深度主干卷积神经网络中；

选取深度主干卷积神经网络的某一中间卷积层的输出特征图，对其在竖直方向进行均匀切分，得到n个互不重叠且具有相同大小的部分特征图；

对于n个部分特征图分别进行二维平面的全局均值池化，并分别通过卷积核大小为1的卷积层改变其通道数，得到与部分特征图数量相同的对应若干不重叠图像区域的特征向量；

利用得到的n个特征向量串联并经过线性映射作为初始全局图像特征向量。

3.如权利要求1所述的基于异构层次化注意机制的跨模态行人再识别方法，其特征是，采用双向循环神经网络框架来提取文本描述特征，具体步骤为：

利用某自然语言句法分析工具，提取句子中的m个名词短语，对短语中的每个单词，首先进行词向量嵌入，而后将这些词向量按序输入双向循环神经网络中，将最终双向隐含状态的输出进行串联，并经过线性变换，得到每个短语对应的特征向量；

对于文本描述，首先对于句子中的每个单词进行词向量嵌入，而后将这些词向量按序输入双向循环神经网络中，得到初始全局文本描述特征向量。

4.如权利要求1所述的基于异构层次化注意机制的跨模态行人再识别方法，其特征是，所建立异构层次化的注意模型，采用两个层次的机制实现对数据的处理，包括对于一对图像及文本描述样本对，所接收的数据包括：图像中的n个不重叠图像区域对应的特征向量，以及文本描述中的m个名词短语对应的特征向量。