[发明专利]基于双流神经网络的视频行为预测方法、装置及介质

说明书

本发明实施例公开了一种基于双流神经网络的视频行为预测方法、装置及介质。方法包括：获取待处理的视频片段，分段以得到多个分段视频；根据分段视频得到RGB图片和光流图片；将RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；同时将光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；将第一预测结果和第二预测结果进行融合，以得到最终预测结果。本发明实施例只需要每段视频的部分图片信息，从而降低了视频数据的冗余性。且，送入双流神经网络模型的不仅包括RGB图片，还包括光流图片，既捕捉了静态图像也捕捉了动态图像特性，从而提高了双流神经网络模型对视频分类的准确性。

技术领域

本发明涉及深度学习及人工智能技术领域，具体涉及一种基于双流神经网络的视频行为预测方法、装置及介质。

背景技术

视频分类是人工智能研究的重要方向之一，在实际生活中有着众多的应用。

当前，随着大数据时代的来临，视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息。如何更好的提取出空间-时间特征是问题的关键。视频分类算法在近些年得到了长足的进步，有些算法使用三维卷积，LSTM的方式处理视频数据，但视频数据往往冗余性大，且物体变化特性很难捕捉。

发明内容

针对上述技术缺陷，本发明实施例的目的在于提供一种基于双流神经网络的视频行为预测方法、装置及可读存储介质。

为实现上述目的，第一方面，本发明实施例提供了一种基于双流神经网络的视频行为预测方法，包括：

获取待处理的视频片段，对待处理的视频片段按相等间隔进行分段以得到多个分段视频；

根据所述分段视频得到RGB图片和光流图片；

将所述RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；

同时将所述光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；

将所述第一预测结果和第二预测结果进行融合，以得到最终预测结果。

作为本申请一种具体的实施方式，所述第一支路或第二支路包括卷积层、池化层和输出层，所述卷积层用于对所述RGB图片或光流图片进行特征提取，以得到RGB图像特征或光流图像特征；所述池化层用于对所述RGB图像特征或光流图像特征进行特征降维和特征融合，以得到融合结果；所述输出层用于对所述融合进行行为预测，以得到所述第一预测结果或第二预测结果。

进一步地，所述方法还包括训练所述双流神经网络模型，具体为：

获取样本视频，按相等间隔对所述样本视频进行分段，以得到短片段；

根据所述短片段，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型。

作为本申请一种具体的实施方式，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型，具体包括：

S1：针对所述短片段进行建模：

Result＝H(G(F(T₁；W)，F(T₂；W)，...，F(T_k；W)))

其中F(T_k；W)函数代表采用W作为参数的卷积网络作用于短片段T_k，函数返回T_k相对于所有类别的得分；段共识函数G代表结合多个短片段的类别得分输出以获得他们之间关于类别假设的共识；基于该共识，预测函数H预测整段视频属于每个行为类别的概率；

S2：结合标准分类交叉熵损失，关于部分共识的最终损失函数L的形式为：