[发明专利]一种基于文字表述的行人检索方法

说明书

本发明提出一种基于文字表述的行人检索方法，包括步骤1：在全局神经网络分支中，提取图像和文字的全局特征；步骤2：在细粒度神经网络分支中，通过引入关注度机制的神经网络，提取图像和文字相互对应的细粒度特征；步骤3：在粗粒度神经网络分支中，将步骤2中提取的细粒度图像和文字特征分别输入到图卷积神经网络中，将人体结构的先验信息嵌入到所提取的特征中；步骤4：分别计算步骤1‑3所述三个神经网络分支相对应的图像和文字特征的余弦相似度并求和，作为图像和文字的最终相似度；步骤5：比较文字表述和行人图像库中每张行人图像的余弦相似度，选取相似度最高的行人图像作为行人检索的匹配结果；本方法提高了行人检索的准确率和鲁棒性。

技术领域

本发明涉及计算机图像处理领域，具体地，涉及一种基于文字表述的行人检索 方法，可以应用于在监控视频中搜寻或者查找走丢的旅客。

背景技术

随着国民经济的持续发展和城市化进程的不断推进，城市管理和公共安全维护的需求与日俱增。然而面对海量的监控视频，传统的依靠人工查看监控录像的方式 已难以满足安防需求。一方面，人工方式需要投入大量的人力。另一方面，监控人 员不能长时间维持专注力，容易遗漏关键信息，难以充分发挥监控系统的效能。如 何利用计算机图像处理技术对监控视频进行自动化分析成为了十分重要的研究课 题。

基于文字表述的行人检索就是要在监控视频中根据对目标行人外观的文字表述，利用计算机图像处理技术自动地检索出该行人。该任务在实际场景中有广泛的 应用需求，比如走丢旅客的查找定位等。其挑战在于(1)由于文字表述的灵活和 多样性，同一个行人的外观可以有很多种不同的词汇和句子来表述，这对语言模型 的准确建模能力要求很高；(2)文字表述和行人的图像属于不同的模态，不能直 接对比相似度，因此需要将它们映射到同一个特征空间下进行比较。现有的基于文 字表述的行人检索方法往往提取的是文字表述和图像作为一个整体去提取特征，而 没有考虑表述中的词汇和图像局部区域的对应关系，因此检索的准确率和鲁棒性不 理想。

发明内容

为了克服现有方法的上述不足之处，本发明提出了一种新的基于文字表述的行人检索方法。我们观察到在实际应用中，以文字来表述行人时通常形容的是他的身 体局部衣着。因此，本发明把文字表述解析为多个词组，把图像分割为多个身体部 位，通过在用于特征提取的深度神经网络中引入关注度机制，将每个词组特征和与 之表述的身体部位对应的图像区域特征进行对齐和一一比较，最终确定图像中的行 人是否与文字表述匹配。

本发明提出的一种基于文字表述的行人检索方法采用包含三个分支的深度神经网 络架构，具体步骤如下：

步骤1：在全局(global-grained)神经网络分支中，将包含行人的图像和表述行人的文字输入全局特征提取网络，提取图像和文字的全局特征；

步骤2：在细粒度(fine-grained)神经网络分支中，将行人图像用人体图像分割算法分割成局部区域，并将文字解析成多个表述局部身体衣着的词组，通过引入关注度机 制的神经网络，提取相互对应的细粒度图像和文字特征；

步骤3：在粗粒度(coarse-grained)神经网络分支中，基于人体身体结构的位置关系构建图卷积神经网络，将步骤2中提取的细粒度图像和文字特征分别输入到图卷积神 经网络中，将人体结构的先验信息嵌入到粗粒度图像和文字特征；

步骤4：分别计算步骤1-3所述三个神经网络分支相对应的图像和文字特征的余弦相似度并求和，作为图像和文字的最终相似度；

步骤5：比较文字表述和行人图像库中每张行人图像的余弦相似度，选取相似度最高的行人图像作为行人检索的匹配结果。

所述的基于文字表述的行人检索方法，所述步骤1的具体步骤包括：

步骤1.1：将行人图像输入ResNet-50卷积网络得到初始图像特征；