[发明专利]基于时空注意力的人体行为识别方法

摘要

本发明公开了一种基于时空注意力的人体行为识别方法，本发明使用卷积神经网络提取图片特征，从而得到特征向量作为长短期记忆网络的输入，比直接输入图片更具有优势；使用长短期记忆网络较好的保留和处理了视频中的时序信息；使用时空注意力机制，使得模型可以关注空间上比较重要的点和时间上比较重要的序列，从而提高了识别的效率和准确率。

主权项

1.基于时空注意力的人体行为识别方法，其特征在于，包括以下步骤：步骤一，将输入的视频拆分成图像帧，并均匀的抽取所需数量的图片；步骤二，采用完成的卷积神经网络对抽取的图片进行特征提取，从而得到对应的特征向量；步骤三，利用提取特征向量作为输入，使用前向感知机计算每张图片对应的空间注意力权重；步骤四，使用空间注意力权重对图片特征向量进行加权得到加权特征向量；步骤五，将加权特征向量输入到长短期记忆网络中，通过长短期记忆网络中的前向传播，计算得到输出的类别概率向量；使用每个图片的特征向量和对应长短期记忆网络隐藏层的输出计算得到对应的空间注意力权重；步骤六，使用空间注意力权重对每张图片的类别概率向量进行加权求和，得到一个类别概率向量；步骤七，使用若干已标记的视频数据对模型进行训练；训练过程中使用反向传播，当损失较大时，不断更新模型参数，直到损失收敛到较小的值，保存为模型；取类别概率向量中的最大值对应的类别作为最终的类别并输出，作为模型参数；步骤八，将保存的模型和模型参数相结合，构成人体行为识别模型。