[发明专利]基于单帧图像的多人并发交互行为理解方法

摘要

一种基于单帧图像的多人并发交互行为理解方法，包括以下步骤：1)输入图片，结合骨架估计和多目标跟踪算法，获得人体骨架数据和感兴趣区域；2)使用人体骨架数据生成骨架部件置信度图和部件亲和力场，并构建注意力图；3)定义基于人体骨架注意力的Resnet‑Attention网络；4)定义多人交互行为理解的双流网络；5)网络参数训练。所提算法利用注意力图增强RGB图像的卷积网络特征，并基于人体骨架数据和移位图卷积网络提取双人交互特征，从而实现对单帧图像的多人交互行为建模，获得有效的交互行为表征。本发明适用于单帧图像中的多人并发交互理解。