[发明专利]基于多特征融合的人体交互行为识别方法、系统及装置

说明书

本发明提供了一种基于多特征融合的人体交互行为识别方法、系统及装置，该方法包括：对交互视频中的多个独立个体，分别提取局部时空特征与全局光流特征；将所述局部时空特征与所述全局光流特征进行特征融合，获得局部时空特征与所述全局光流特征之间的相关性，进而得到每个独立个体的单人特征信息；通过并行长短期记忆网络，获得混合特征信息；基于混合特征信息，进行分类，获得交互行为识别结果。本发明的技术方案充分保留了交互中的行为信息和交互信息，大大提高了交互行为识别的准确率。

技术领域

本发明属于计算机视觉领域，可用于人体交互行为的分析研究，尤其涉及一种基于多特征融合的双人交互行为的识别方法、系统及其装置。

背景技术

人体交互行为识别是计算机视觉领域的研究热点之一，其不仅具有重要的理论意义，而且具有广阔的应用前景。运用人体交互技术的智能视频监控系统是城市安全防范系统的重要组成部分，将会被广泛运用于如银行、车站、学校以及军事区域等这类人员密集，难以管理，或对安全要求敏感的场合；在巨大的视频数据库中，人的交互行为识别可以根据预先定义的行为模式自动检索，使得在视频数据库中检索特定的事件变得非常方便；人体行为识别技术可以对病人以及运动员进行运动分析，从而对病人康复、运动员日常训练等多个方面提供指导意见。另外，人体交互行为识别研究在家庭看护、养老、新一代人机交互技术、虚拟现实等领域有着广泛的运用前景。

人体交互行为识别主要是从视频中捕捉到运动目标，并将交互行为看作一个整体或者两个个体行为，再对其提取可以表示某一行为的特征，但是由于人体是非刚性物体，其运动特征多，轨迹多变，细节信息量巨大，而且两人在交互时易发生遮挡，导致自动捕捉和分析人体运动有较大的难度。所以相对于已经取得不错效果的单人行为识别，交互行为识别已经成为人们的研究重点。

传统方法大部分都是将交互行为看作一个整体或分为两个单独的个体，再对其进行分析并提取能表征交互行为的特征，最后通过相关方法实现交互行为识别。但在提取特征的这一过程中，若以单人特征来预测整体交互会由于单人在动作过程存在属于个人的独特动作这一无关信息而对结果产生影响，若分别提取两个人的特征再进行组合则会失去两人之间交互时的信息，而现有技术中均未考虑这一点，这导致了诸多重要交互信息的丢失、识别错误等问题。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于多特征融合的人体交互行为识别方法、系统及其装置。该方法首先将进行交互的人体分为独立的多个个体，分别获得每个个体的全局光流特征与局部时空特征并进行融合，再通过提出的并发长短期记忆网络进一步并行提取每个人的特征，并综合考虑交互时的信息。最后通过分类网络获得最终的行为类别。需要指出的是，本发明的技术方案可以适用于多人交互行为的识别，例如两人、三人、四人等交互过程中的行为识别。

具体而言，本发明提供了以下的技术方案：

一方面，本发明提供了一种基于多特征融合的人体交互行为识别方法，所述方法包括：

S1、对交互视频中的多个独立个体，分别提取局部时空特征与全局光流特征；

S2、将所述局部时空特征与所述全局光流特征进行特征融合，获得所述局部时空特征与所述全局光流特征之间的相关性，进而得到每个独立个体的单人特征信息；

S3、将S2所得每个独立个体的单人特征信息通过并发长短期记忆网络，所述并发长短期记忆网络以并行的方式进一步获取提取后单人特征信息，基于所述提取后单人特征信息、所述S2中的单人特征信息，获得混合特征信息；

S4、基于所述混合特征信息进行分类，获得交互行为识别结果。

优选地，所述S1中，全局光流特征与局部时空特征通过如下方式获得：

全局光流特征：利用两帧差分，对光流进行计算，基于该计算结果，通过光流直方图以及光流的方向加权统计结果，得到光流方向信息直方图，构成全局光流特征；