[发明专利]基于双流神经网络的视频行为预测方法、装置及介质

权利要求书

1.一种基于双流神经网络的视频行为预测方法，其特征在于，包括：

获取待处理的视频片段，对待处理的视频片段按相等间隔进行分段以得到多个分段视频；

根据所述分段视频得到RGB图片和光流图片；

将所述RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；

同时将所述光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；

将所述第一预测结果和第二预测结果进行融合，以得到最终预测结果。

2.如权利要求1所述的视频行为预测方法，其特征在于，所述第一支路或第二支路包括卷积层、池化层和输出层，所述卷积层用于对所述RGB图片或光流图片进行特征提取，以得到RGB图像特征或光流图像特征；所述池化层用于对所述RGB图像特征或光流图像特征进行特征降维和特征融合，以得到融合结果；所述输出层用于对所述融合进行行为预测，以得到所述第一预测结果或第二预测结果。

3.如权利要求2所述的视频行为检测方法，其特征在于，所述方法还包括训练所述双流神经网络模型，具体为：

获取样本视频，按相等间隔对所述样本视频进行分段，以得到短片段；

根据所述短片段，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型。

4.如权利要求3所述的视频行为检测方法，其特征在于，采用前向传播计算误差方法和反向传播更新模型权重方法训练所述双流神经网络模型，具体包括：

S1：针对所述短片段进行建模：

Result＝H(G(F(T₁；W),F(T₂；W),…,F(T_k；W)))

其中F(T_k；W)函数代表采用W作为参数的卷积网络作用于短片段T_k，函数返回T_k相对于所有类别的得分；段共识函数G代表结合多个短片段的类别得分输出以获得他们之间关于类别假设的共识；基于该共识，预测函数H预测整段视频属于每个行为类别的概率；

S2：结合标准分类交叉熵损失，关于部分共识的最终损失函数L的形式为:

其中，C是行为总类别数，y_i是类别数目；共识函数G采用最简单的形式，即G_i＝g(F_i(T₁),…,F_i(T_k))，采用用聚合函数g从所有片段中相同类别的得分中推断出某个类别分数G_i；聚合函数g采用均匀平均法来表示最终识别精度；

S3：用标准反向传播算法，利用多个短片段来联合优化模型参数W；在反向传播过程中，模型参数W关于损失值L的梯度为：

5.一种基于双流神经网络的视频行为预测装置，其特征在于，包括：

获取单元，用于获取待处理的视频片段；

分段单元，用于对待处理的视频片段按相等间隔进行分段以得到多个分段视频；

处理单元，用于根据所述分段视频得到RGB图片和光流图片；

输入单元，用于将所述RGB图片送入完成训练的双流神经网络模型的第一支路进行预测，以得到第一预测结果；

所述输入单元还用于同时将所述光流图片送入双流神经网络模型的第二支路进行预测，以得到第二预测结果；

融合输出单元，用于将所述第一预测结果和第二预测结果进行融合，以得到最终预测结果。

6.如权利要求5所述的视频行为预测装置，其特征在于，所述第一支路或第二支路包括卷积层、池化层和输出层，所述卷积层用于对所述RGB图片或光流图片进行特征提取，以得到RGB图像特征或光流图像特征；所述池化层用于对所述RGB图像特征或光流图像特征进行特征降维和特征融合，以得到融合结果；所述输出层用于对所述融合结果进行行为预测，以得到所述第一预测结果或第二预测结果。