[发明专利]一种基于双流神经网络的人体图像动作识别方法

权利要求书

1.一种基于双流神经网络的人体图像动作识别方法，其特征在于：包括以下步骤：

S1.构建时间神经网络和空间神经网络；

S2.为时间神经网络和空间神经网络准备足够多的训练视频，然后从训练视频中提取信息对时间神经网络、空间神经网络进行训练，提取信息的步骤如下：

S21.设对视频帧分段的次数为k，k的初始值为1；

S22.将训练视频的视频帧划分为多段，然后分别采集多段视频帧的RGB信息和光流图信息；

S23.令k＝k+1然后对每段视频帧执行步骤S22的处理，直至k>a，a为设定的视频分段的次数阈值；

S24.将步骤S2采集的RGB信息输入至空间神经网络中对空间神经网络进行训练，而将步骤S2采集的光流图信息输入至时间神经网络中对时间神经网络进行训练；

S3.分别计算时间神经网络和空间神经网络的损失函数数值，然后判断时间神经网络和空间神经网络的损失函数数值是否小于设定的阈值，若是则结束对时间神经网络和空间神经网络的训练，否则基于时间神经网络和空间神经网络的损失函数数值对时间神经网络和空间神经网络的参数进行迭代更新，然后重复步骤S2对时间神经网络和空间神经网络的训练；

S4.对于测试视频，将其按照步骤S21～S23进行信息的提取，然后将提取的测试视频的RGB信息和光流图信息分别输入至空间神经网络、时间神经网络中，将空间神经网络、时间神经网络的输出融合后得到动作识别结果。

2.根据权利要求1所述的基于双流神经网络的人体图像动作识别方法，其特征在于：所述视频帧的光流图信息由视频帧及与视频帧相邻的另一视频帧确定，设视频帧t上的一个像素点为(u,v)，则将其移动至视频帧t+1上对应位置的光流向量表示为d_t(u,v)，视频帧t上的每一个像素点均对应着一个光流向量，通过提取所有像素点的光流向量，即可得到一张与视频帧t对应的光流图。

3.根据权利要求1所述的基于双流神经网络的人体图像动作识别方法，其特征在于：所述a设为2。

4.根据权利要求3所述的基于双流神经网络的人体图像动作识别方法，其特征在于：所述测试视频提取的RGB信息表示如下：{{S₁₁,S₁₂,……,S_1m},{S₂₁,S₂₂,……,S_2m},…,{S_n1,S_n2,……,S_nm}}，其中S_ij表示第一次划分的第i段里，再次划分后第j段提取的RGB信息，所述训练视频/测试视频提取的光流图信息表示如下：{{S′₁₁,S′₁₂,……,S′_1m},{S′₂₁,S′₂₂,……,S′_2m},…,{S′_n1,S′_n2,……,S′_nm}},S′_ij表示第一次划分的第i段里，再次划分后第j段提取的光流图信息，则步骤S4将提取的测试视频的RGB信息和光流图信息分别输入至空间神经网络、时间神经网络中，空间神经网络、时间神经网络的输出Prediction₁(V)、Prediction₂(V′)表示如下：

Prediction₁(V)

＝H₁(G(F₁(S1,S₁₁,S₁₂,……,S_1m),……,F_n(SN,S_n1,S_n2,……,S_nm)))

Prediction₂(V′)

＝H₂(G(F₁(S′1,S′₁₁,S′₁₂,……,S′_1m),……,F_n(SN,S′_n1,S′_n2,……,S′_nm)))

Fi函数表示在第一次划分中，将第i段提取的信息S1或S′1融合起来，并加入第i段自身再次划分提取的信息；函数G将各段的信息整合堆叠，形成统一的输入形式，最终输入到空间神经网络或时间神经网络中，函数H1和H2分别代表空间与时间神经网络的网络内计算过程。