[发明专利]一种基于自注意力机制的多模态LSTM的视频动作预测方法

说明书

本发明涉及一种基于自注意力机制的多模态LSTM的视频动作预测方法，该方法包括以下步骤：步骤1：准备训练数据集并针对原视频进行预处理得到RGB图片和光流图片；步骤2：基于RGB图片和光流图片通过TSN网络提取RGB特征和光流特征，基于训练数据集通过Faster‑RCNN目标检测器得到与目标检测相关的特征；步骤3：建立基于自注意力机制的多模态LSTM网络模型，并将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至该网络模型中训练，输出各自对应的动作种类分布张量；步骤4：建立融合网络为动作种类分布张量分配权重并与动作种类分布张量相结合得到最终视频动作预测结果。与现有技术相比，本发明具有准确率高，解决了较长的动作预测时间效果不佳的缺陷。

技术领域

本发明涉及视频动作预测技术领域，尤其是涉及一种基于自注意力机制的多模态LSTM的视频动作预测方法。

背景技术

基于视觉的动作识别一直是计算机视觉领域研究的难点与热点之一，涉及图像处理、深度学习、人工智能等多个学科领域。不仅具有很高的学术研究价值，在5G时代下互联网行业的蓬勃发展的趋势下，对于视频的分析和理解还具有广泛的应用背景。目前动作识别领域的关注点在于如何正确地识别视频中包含的完整动作。然而在实际应用中，人们更希望监控系统能对监控场所中潜在的风险进行预警，使得危险行为造成严重后果之前对这些行为加以阻止，而并非已经完成的动作加以识别或者对造成的后果加以检测。若要实现这一目的，则需要赋予监控系统视觉，使其具备动作预测的能力。

动作预测是指通过提取并且处理连续输入的视频流的特征，从而在视频中的动作完成前尽可能早地对其动作类别进行预测。动作预测与动作识别的主要区别便在于识别对象的完整性。前者的识别对象是动作发生前的视频片段，这些片段不包含将要发生的动作。而后者的识别对象是包含动作的完整视频。动作预测是一项更加具有挑战性的任务。第一，一些动作在运动的初期具有相似的特征表现，比如“握手”和“挥手”这两个不同的动作在运动初期都存在将手向上抬起的过程，相似的举动使得获得的视频流的特征不好区分这两个不同的动作。第二，由于动作预测任务的设定，无法得知完成整个动作需要的时间，无法通过动作持续时间来区分不同的动作。因此从已经观测到的视频部分，既无法取得具有关键语义的特征来区分动作初期相似的动作，也不能获得完整的动作时序结构。第三，由于选取的视频片段取在需要预测的动作片段之前，而这样的输入数据往往与需要预测的动作没有很强的联系。

动作预测方法通常从视频里提取出特征，建模特征与动作类别之间的映射关系来预测将来发生的动作。因此预测效果的好坏很大程度上取决于特征对于非完整动作的描述能力，以及能否从目标动作中学习到其所特有的时序运动模式。在深度学习的方法出现之前，词袋模型以及支持向量机等传统机器学习方法被用于解决动作预测任务。近年来，深度学习类的方法成为计算机视觉领域的主流，卷积网络可以提取具有丰富语义的高层次特征，这些高层次特征可以用来识别以及检测。然后再进一步融合或者编码这些特征，改善模型的效果。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于自注意力机制的多模态LSTM的视频动作预测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于自注意力机制的多模态LSTM的视频动作预测方法，该方法包括以下步骤：

步骤1：准备训练数据集并针对原视频进行预处理得到RGB图片和光流图片；

步骤2：基于RGB图片和光流图片通过TSN网络提取RGB特征和光流特征，基于训练数据集通过Faster-RCNN目标检测器得到与目标检测相关的特征；

步骤3：建立基于自注意力机制的多模态LSTM网络模型，并将步骤2中得到的RGB特征和光流特征以及与目标检测相关的特征输入至该网络模型中训练，输出各自对应的动作种类分布张量；