[发明专利]基于动态信息的人物交互行为识别方法

说明书

本发明公开了一种基于动态信息的人物交互行为识别方法，通过生成人物交互训练集并搭建人物交互行为识别网络，克服了现有技术适用性不好、对往复动作和遮挡动作有误判的问题。本发明实现的步骤是：(1)生成人物交互训练集；(2)构建视觉特征提取模块；(3)构建空间特征提取模块；(4)构建时序特征提取模块；(5)构建人物交互行为识别网络；(6)训练人物交互行为识别网络；(7)识别视频图像中的人物交互行为。本发明具有人物交互行为识别网络识别交互行为识别率高、适用性好的优点，可用于视频图像中交互行为的识别。

技术领域

本发明属于图像处理技术领域，更进一步涉及视频图像识别技术领域中的一种基于动态信息的人物交互行为识别方法。本发明可对视频图像中的人与物体之间发生交互时的行为进行识别。

背景技术

人物交互行为识别是视频分析，场景理解领域中很重要的一个问题，主要目的是从一段包含人和物体的视频图像或者序列中识别人与物体的交互行为，这其中的重点在于高效提取人和物体在时间和空间上的特征表达，融合其视觉特征进行交互配对，实现精确的人物交互行为识别，人物交互行为识别广泛应用于监控安防及人机交互等方面，已成为计算机视觉和模式识别技术领域中重要的研究课题之一。

现有的方法大多数针对图像做处理，通过目标检测方法提取出人和物体的特征，结合相对空间位置提取人和物体的交互特征，最后融合人和物体的特征与交互特征进行交互行为识别。其缺陷在于单个图像缺乏交互动作的动态信息，对交互行为的识别帮助有限，无法解决往复动作的歧义和遮挡导致的交互动作误判等问题。此外，目标检测方法在不同场景下的效果差异很大，需要针对性的微调，使得此类方法适用性不好。

Yu-Wei Chao等人在其发表的论文“Learning to Detect Human-ObjectInteractions.”(IEEE winter conference on applications of computer vision(wacv),2018,pp.381-389)中提出了用视觉特征和空间交互特征进行人物交互行为检测的方法。该方法利用现有的目标检测方法检测出图像中存在的人和物体，对获得的人和物体进行两两配对，通过深度神经网络提取人和物体的视觉特征，通过人和物体的空间相对位置描述其空间交互特征，最后融合人物视觉特征和空间交互特征进行人物交互识别。该方法存在的不足之处是：在人物交互行为识别中，图像缺乏交互动作的动态信息，无法表征时序上的特征，对起身坐下，拿起放下等往复动作无法精确判断，对有物体遮挡的交互动作也会有误判，因此导致识别率不高。

上海交通大学在申请的专利文献“基于深度学习融合各种交互信息的多人行为检测方法及系统”(专利申请号202010289689.X，公开号111523421A)中公开了一种融合人物交互信息的行为检测方法。该方法通过目标检测方法提取视频图像中的人和物体的位置，然后将提取到的人和物体位置输入深度神经网络提取人物交互、人人交互、人记忆交互三种不同的表征信息，并融合三种表征信息进行行为识别。该方法存在的不足之处是：在输入深度神经网络之前用目标检测方法检测视频图像中存在的人和物体，目标检测的效果决定了后续行为识别的结果，而目标检测方法在不同数据集，不同场景下的效果差异很大，需要针对性的微调，导致此方法的适用性不强。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出一种基于动态信息的的人物交互行为识别方法，以解决现有技术存在的适用性不好、对往复动作和遮挡动作有误判的问题。

实现本发明目的的技术思路是，利用siamrpn算法生成视频图像中所有帧的人所在区域位置和物体所在区域位置，构建视觉特征提取模块提取人物视觉特征，构建空间特征提取模块提取人物空间特征，构建时序特征提取模块融合人物视觉特征和人物空间特征，学习其在时间上的交互特征，对视频图像中的人物交互行为进行识别。

本发明的实现的具体步骤如下：

(1)生成人物交互训练集：