[发明专利]一种基于多层次特征融合的社交关系识别方法

说明书

本发明提出了一种基于多层次特征融合的社交关系识别方法，主要涉及深度学习中通过提取和融合多层次特征进行社交关系识别的问题。首先，通过结点生成模型提取社交关系识别相关特征，并形成社交关系结点和场景结点；然后，以全连接的方式连接各社交关系结点和场景点，构建引入场景的社交关系图；接着利用门控图神经网络模拟人的思维对构建的社交关系图对进行推理；最后，通过全连接层对经过图推理后的社交关系结点进行社交关系分类。本发明充分考虑社交关系识别相关的各层次特征，通过图的形式对提取的特征进行有效融合，并引入图神经网络进行图推理，解决了社交关系识别中特征提取不充分及其融合方式过于粗糙的问题。

技术领域

本发明涉及深度学习领域中的社交关系识别问题，尤其是涉及一种基于多层次特征融合的社交关系识别方法。

背景技术

在计算机视觉领域，社交关系识别是一项研究人与人之间关系的重要任务，为人的行为理解提供了重要线索。现有研究大多通过提取人脸、身体、场景等相关特征来进行社交关系识别，达到了不错的效果。近年来，专为图结构数据设计的图神经网络快速发展，并对其它领域也起到了促进作用。因此，部分研究者将其引入到社交关系识别领域中，模拟人的思维对场景中的人物和物体关系进行推理来提升社交关系识别的准确率。目前，社交关系识别在照片分类、群体划分、人群活动分析等领域发挥着重要作用。

社交关系识别作为计算机视觉领域的重要研究任务，受到了国内外相关研究人员的广泛关注。已有的识别方法仅仅考虑了人物对相关的特征、社交关系之间的逻辑关系特征以及场景特征中的一个或两个，并且大多数的方法通过简单的特征向量拼接来融合提取到的特征，无法充分挖掘特征之间的相关信息。因此，本专利先通过一层全连接层、两个权重共享的ResNet-101网络、一个参数独立的ResNet-101网络、一个ResNet-50网络一次提取人物对的相对位置特征、人物对中每一个人的特征、人物对共同区域的特征以及整幅图的场景特征；然后融合除场景特征外的所有特征形成社交关系结点，以及将提取到的场景特征作为场景结点，接着将这些社交关系结点和场景结点以全连接的方式连接起来形成引入场景的社交关系图并送入图神经网络中进行图推理；最后，移除场景结点，对社交关系结点进行分类，以提高社交关系的识别准确率。

发明内容

本发明的目的是提供一种基于多层次特征融合的社交关系识别方法，首先充分提取社交关系识别相关的各层次特征，然后通过图的形式对提取的特征进行融合并产生特征之间的逻辑关系，最后引入图神经网络对构建的引入场景的社交关系图进行推理，有效解决了社交关系识别中特征提取不充分以及特征融合方式过于粗糙的问题。

为了方便说明，首先引入一下概念：

预训练模型：神经网络的训练需要大量的数据、时间和充足的计算资源，为了避免网络的重复训练，将其他研究者训练的具有较好效果的模型参数迁移到特定任务中的模型中来，并进行微调以适应该任务的需求。

图(Graph)：指图论中的图，是一种非欧氏空间中的图，由结点(Node)和连接结点的边(Edge)构成。

图神经网络(Graph Neural Network,GNN)：直接在图上计算的神经网络结构，通过消息传递的方式学习结点的表达，以相邻结点更新当前结点的信息，直到整张图收敛到稳定状态。

门控图神经网络(Gated Graph Neural Network,GGNN)：为解决传统图神经网络中基于不动点理论(Banach's Fixed Point Theorem)带来的应用限制，引入门控循环单元(Gated Recurrent Unit,GRU)的更新方式形成的新的图神经网络。

深度残差网络(ResNets)：一种深度学习网络，通过引入残差块来解决网络深度带来的副作用；根据网络层数的不同划分为ResNet-18、ResNet-34、ResNet-50、ResNet-101以及ResNet-152。

本发明具体采用如下技术方案：