[发明专利]基于多特征融合的图像中人物交互检测方法

说明书

本发明公开了一种基于多特征融合的图像中人物交互检测方法，利用目标检测算法检测出图片中所有实例信息，包括人体位置信息以及物体位置和类别信息等，然后输入训练好的人物交互行为识别网络，检测待测图片中人物对之间的交互行为。本发明在利用位姿捕获交互关系的全局空间配置的基础上，关注于人与物体交集区域提供的有效信息，学习更加精细的局部特征，增加了正确人物交互对匹配的概率，并借助短期记忆选择模块对人和物体及其背景区域信息进行有效的筛选利用，通过各类特征的融合，提高了人物交互检测的精度。

技术领域

本发明属于利用计算机视觉进行图像中视觉关系检测和理解的技术领域，具体涉及一种基于多特征融合的图像中人物交互检测方法。

背景技术

图像中的人物交互(Human-Object Interaction，HOI)检测的目标是利用计算机视觉自动检测出输入图片中发生交互的人、物体等目标的具体位置，并识别出人-物体对之间的交互行为类别，从而实现机器对图像内容的自动理解。人物交互检测是通过计算机视觉自动理解深层次视觉关系、实现高级人工智能的核心技术，可广泛应用于智能机器人、安全监控、信息检索、人机交互等诸多领域。

现有的人物交互检测方法大多数是从目标检测的结果出发，将图中所有的人和物体完全配对，提取出人和物体的特征，以及人-物体对间的空间特征来推测人与物体之间的交互行为。这种仅依靠实例级特征的推测方式在处理相对复杂的交互类时仍存在不足，导致整体检测精度不高。首先，由于缺乏细节线索，难以确定具有实例级别表示的人与物体实例的相关性，容易导致人和未发生交互物体之间的错误关联。另外，仅依靠相似的实例级特征来区分精细粒度的交互类型时，特征之间的内在联系未被有效利用，无法对复杂情况进行准确判断。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于多特征融合的图像中人物交互检测方法。该方法在利用人体位姿捕获交互行为的全局空间配置基础上，关注于图像场景中的人体与物体的交集区域所提供的有效信息，通过多支流神经网络学习更加精细的局部特征，增加了正确匹配人-物体交互对的概率，并通过短期记忆选择模块，对人体和物体及其背景区域信息进行有效的筛选利用，通过各类特征的融合实现人物交互行为检测。

为达到上述发明创造目的，本发明采用如下发明构思：

首先利用目标检测算法检测出图片中所有实例信息，包括人体位置信息以及物体位置和类别信息等，之后输入训练好的人物交互行为识别网络，检测待测图片中人物对之间的交互行为。人物交互识别网络采用多支流神经网络结构，包括成对支流、交集支流和短期记忆选择支流，网络对图片中人-物体实例对各类特征进行了学习训练。

根据上述发明构思，本发明采用如下技术方案：

一种基于多特征融合的图像中人物交互检测方法，其操作步骤为：

步骤1：输入原始图片；

步骤2：目标检测；

步骤3：构建人物交互识别网络；

步骤4：检测待测图片人物交互行为；

在所述步骤2中，利用目标检测算法检测出图片中所有实例信息，包括人体位置信息以及物体位置和类别信息后，输入训练好的人物交互行为识别网络，检测待测图片中人物对之间的交互行为；

在所述步骤3中，人物交互识别网络采用多支流神经网络结构，包括成对支流、交集支流和短期记忆选择支流，网络对图片中人-物体实例对各类特征进行了学习训练。

优选地，在所述步骤2中，目标检测的过程为：

采用训练好的目标检测器对输入图片进行目标检测，得到人的候选框b_h以及人的置信度s_h和物体的候选框b_o以及物体的置信度s_o，其中下标h表示人体、o表示物体。