[发明专利]一种人物交互关系检测方法及系统

说明书

本发明公开了一种人物交互关系检测方法及系统，属于计算机视觉技术领域。现有的人物交互关系检测方法需要用一个共享的预测器同时检测人、物体和它们对应的交互关系，会造成实例级和交互关系级在注意力视野上的不一致。为此，本发明提出一种并行推理网络，其同时包含了两个分别针对实例级定位和交互关系级语义理解的独立预测器。前者通过感知实例的末端区域从而聚焦于实例级的定位；后者扩散视野到交互关系区域，从而更好地理解交互关系级语义。并且本发明的实例级预测器的实例级查询向量和关系级预测器的交互关系级查询向量是一一对应的关系，因此它们之间并不需要任何实例与关系的匹配程序，从而大大减轻了计算负担。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种人物交互关系检测方法及系统。

背景技术

现实世界中包含大量的复杂的以人为中心的活动，而这些以人为中心的活动主要由人物交互关系构成。为了让机器充分理解这些复杂人类活动，本发明便需要进行人物交互关系检测。具体来讲，人物交互关系检测任务由实例检测和关系识别两个子任务构成。只有同时完成好这两个子任务，才有可能构建出好的人物交互关系检测器。

以往的人物交互关系检测方法对这两个子任务的处理方式各有不同。早期传统的两阶段人物交互关系检测方法首先利用现成的(off-the-shelf)目标检测器去定位出所有物体并提取出对应物体的特征。之后再利用各种特征融合以及人物配对的方法，构建出人-物匹配对。此时可以认为这些人-物匹配对之间更可能存在交互关系。再以这些人-物匹配对作为输入，送入到关系理解网络中，分类输出人物交互关系，从而得到人-物位置和对应的交互关系类别。这些方法由于目标检测和关系理解两个任务分开学习，无法端到端训练，因此无法很好地检测出那些存在交互关系的实例。

后面出现的一阶段的人物交互关系检测器为了缓解这些问题，提出利用多任务学习方式同时完成两个子任务。这些方法并行处理两个子任务时仍然需要一个交互关系与人物匹配的过程，才能有效地区分开不同的人物交互关系实例。因此以往并行处理的方法效率并不高。另一些方法利用共享预测器同时预测人-物对和交互关系的方法虽然不需要匹配过程。但又由于实例(人和物体)定位任务与关系理解任务被捆绑在一起完成，而这两个任务所关注的重点区域聚焦并不一致，导致最终的人物交互关系检测效果不够好，无法有效地理解一些复杂的容易让人混淆的交互关系。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种人物交互关系检测方法及系统，旨在解决多任务注意力视野范围不一致的技术问题。

为实现上述目的，第一方面，本发明提供了一种人物交互关系检测方法，包括：

提取待识别图像的特征，并利用Transformer编码器对提取的特征进行全局上下文信息编码；

将编码后的特征同时输入并行的实例级预测器和交互关系级预测器，并将所述实例级预测器和交互关系级预测器的输出一一对应进行组合，得到至少一组人物交互关系；

其中：

所述实例级预测器包括第一Transformer解码器和三个前馈神经网络，所述第一Transformer解码器利用第一查询向量对编码后的特征进行解码，并将解码得到的特征向量分别输入所述三个前馈神经网络，分别得到人体边界框、物体边界框和物体类别；

所述交互关系级预测器包括第二Transformer解码器和两个前馈神经网络，所述第二Transformer解码器利用第二查询向量对编码后的特征进行解码，并将解码得到的特征向量分别输入所述两个前馈神经网络，分别得到交互关系边界框和交互关系类别；

所述第一查询向量和第二查询向量一一对应。

进一步地，获得至少一组人物交互关系之后，利用公式计算第i组人物交互关系预测分数；滤除预测分数低于分数阈值的人物交互关系组；